r/LocalLLaMA•4개월 전•113•38

OpenCode나 Pi 사용자 주목 - 프롬프트 처리 문제 해결 PR 공유

For everyone that uses OpenCode / Pi - Heres your promptprocessing fix!

핵심 요약

llama.cpp의 고질적인 프롬프트 처리 문제를 해결하는 PR이 공유되어 사용자들의 검증과 기술적 논의가 이어지고 있음.

프롬프트 처리 문제 — OpenCode나 Pi 사용 시 발생하는 반복적인 프롬프트 처리 지연을 해결함.
PR 검증 — 아직 머지되지 않은 PR이지만 직접 빌드하여 테스트한 결과 문제가 해결되었다는 후기가 많음.
체크포인트 설정 — `--checkpoint-min-spacing-n-tokens` 옵션을 조정하여 체크포인트 간격을 최적화할 수 있음.
범용적 이슈 — 특정 도구에 국한되지 않고 llama.cpp를 사용하는 모든 환경에서 발생할 수 있는 문제임.

이 PR은 llama.cpp를 Opencode나 Pi와 함께 사용할 때 발생하는 고질적인 프롬프트 처리 문제를 해결해주므로 더 많은 관심을 받을 자격이 있습니다.

https://github.com/ggml-org/llama.cpp/pull/22929

원문

커뮤니티 목록

r/LocalLLaMA•4개월 전•113•38

OpenCode나 Pi 사용자 주목 - 프롬프트 처리 문제 해결 PR 공유

For everyone that uses OpenCode / Pi - Heres your promptprocessing fix!

핵심 요약

llama.cpp의 고질적인 프롬프트 처리 문제를 해결하는 PR이 공유되어 사용자들의 검증과 기술적 논의가 이어지고 있음.

프롬프트 처리 문제 — OpenCode나 Pi 사용 시 발생하는 반복적인 프롬프트 처리 지연을 해결함.
PR 검증 — 아직 머지되지 않은 PR이지만 직접 빌드하여 테스트한 결과 문제가 해결되었다는 후기가 많음.
체크포인트 설정 — `--checkpoint-min-spacing-n-tokens` 옵션을 조정하여 체크포인트 간격을 최적화할 수 있음.
범용적 이슈 — 특정 도구에 국한되지 않고 llama.cpp를 사용하는 모든 환경에서 발생할 수 있는 문제임.

이 PR은 llama.cpp를 Opencode나 Pi와 함께 사용할 때 발생하는 고질적인 프롬프트 처리 문제를 해결해주므로 더 많은 관심을 받을 자격이 있습니다.

https://github.com/ggml-org/llama.cpp/pull/22929

주요 댓글

r/localllama

llama.cpp의 prompt processing 문제를 해결하는 PR에 대해 사용자들은 직접 빌드해보고 효과를 보았다는 긍정적인 반응을 보이며, 도구별 캐싱 방식에 대한 기술적 논의를 이어가고 있습니다.

공유 고맙다. 누군가 자기 환경에서 테스트해주면 진짜 도움 될 듯. 난 며칠 동안 pi + Qwen 3.6 27B 환경에서 테스트 중임.

지금까지 테스트해봤는데(난 Qwen3.5 122B 사용자임), 네가 최근에 바꾼 것들 덕분에 나한테는 완전히 해결된 것 같아.

--checkpoint-min-spacing-n-tokens 256으로 실험해봐(숫자가 클수록 체크포인트가 적게 생김). (난 여전히 3.7 122B를 기다리는 중)

이거 짧은 프롬프트나 툴 호출할 때 불필요한 체크포인트 생기는 거 방지하려고 하는 거야?

체크포인트 간의 최소 간격을 설정하는 거야. 원래는 64로 하드코딩 되어 있었는데, 프롬프트 처리 속도가 1000 t/s라고 치면 64는 너무 작아서 256으로 테스트 중임.

혹시 추천하는 pp 대 거리 비율 같은 거 있냐?

--checkpoint-min-spacing-n-tokens 256

이 플래그는 무슨 역할을 하는 거임?

나 Opencode에서 PP(프롬프트 처리) 문제 겪은 적 없는 거 같은데?

곧 쏟아질 pp(prompt processing) 드립들 미리 준비해둬라.

그것 때문에 어쩔 수 없이 OpenCode 대신 Claude Code를 쓰고 있어. prompt reprocessing 문제가 너무 많이 발생하거든.

솔직히 그게 얼마나 도움이 될지 모르겠네. OpenCode가 나중에 tool call pruning을 하긴 하지만, 여전히 보수적이라 세션 깊숙이 들어가기 전까진 prompt reprocessing이 일어날 것 같진 않거든. Pi는 아예 이전 메시지를 수정하지 않아서 cache hit을 극대화하니까 이런 문제가 없어. Claude Code랑 비슷할 테니 Pi를 써보는 것도 방법일 듯. 근데 Pi도 가끔은 prompt reprocessing이 발생하긴 해.

"open"이라니, 그럼 아직 해결 안 된 건가? 무슨 뜻임?

당연히 아직 merge 안 됐지, 그냥 PR 상태니까. 난 방금 이 PR 적용해서 llama.cpp 새로 빌드했는데 겪던 prompt processing 문제는 싹 사라졌어. 직접 빌드해서 확인해 봐.

OpenCode 자체도 prefix stability 면에서 좀 개판임. 제일 웃긴 건 시스템 프롬프트에 현재 날짜를 박아놓고 매 턴마다 재평가한다는 거임. 그래서 자정에 OpenCode 쓰면 프롬프트 캐시가 싹 날아감.

promptprocessing이 뭐야?

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

원문r/LocalLLaMA