r/PiCodingAgent•약 10시간 전•35•7
pi-prefill - 로컬 모델을 위한 실시간 프리필(prefill) 진행률 표시기
pi-prefill - live prefill progress for local models
핵심 요약
로컬 LLM 실행 시 프리필 진행 상황을 실시간으로 보여주는 pi 확장 프로그램이 공개되었습니다.
- 실시간 진행률 — 로컬 모델 실행 시 프리필 진행 상황을 바 형태로 표시함
- 서버 연동 — llama.cpp, ExLlamaV3 등 주요 서버의 진행률 데이터를 직접 읽어옴
- 설치 간편성 — npm 명령어를 통해 쉽게 설치 가능함
- 사용자 피드백 — 프리필 속도 표시 및 가시성 개선에 대한 의견이 공유됨
야, 내가 만든 새로운 pi 확장 프로그램 pi-prefill을 공유하려고 왔어.
로컬 모델 돌릴 때 pi 로딩 라인에 실시간 prefill 진행률 바를 띄워주는 녀석이야. prefill이 길어지면 멈춘 것처럼 보일 때가 많잖아? 이제는 진행 상황을 눈으로 확인할 수 있어.
52%. → 처리된 캐시되지 않은 프롬프트 토큰 비율
14.1k/27.3k → 처리된 토큰 / 전체 프롬프트 토큰
gen in ~14s. → 첫 토큰 생성까지 예상 시간
3.4k tok/s. → 실시간 prefill 속도 (선택 사항)
예시:
prefill [██████░░░░░░] 52% 14.1k/27.3k gen in ~14s
이건 네 서버가 보내주는 진행 상황 청크를 읽어오는 방식이야. 호스트 스캔이나 추측 같은 거 안 해. 서버가 진행 상황을 알려주면 바가 뜨고, 아니면 그냥 pi 기본 로딩 라인이 그대로 유지돼.
llama.cpp, ExLlamaV3, unsloth, Strata에서 바로 쓸 수 있어.
설치:
pi install npm:pi-prefill
저장소:
https://github.com/eliaskg/pi-prefill
https://www.npmjs.com/package/pi-prefill
로컬 서버 돌리는 형들 피드백 좀 많이 남겨줘.
