r/LocalLLaMA•5개월 전•256•73

llama.cpp에 speculative checkpointing 기능이 병합됨

llama.cpp speculative checkpointing was merged

핵심 요약

llama.cpp에 speculative checkpointing이 추가되어 특정 작업에서 추론 속도 향상을 기대할 수 있게 됨.

기능 병합 — llama.cpp에 speculative checkpointing이 추가되어 추론 속도 개선이 가능해짐.
성능 최적화 — 작업 유형과 반복 패턴에 따라 0%에서 50%까지 속도 향상 효과를 볼 수 있음.
추가 기능 논의 — DFlash나 SYCL/Vulkan 백엔드 최적화 등 다른 성능 개선 방안들도 함께 언급됨.
사용자 반응 — 새로운 기능에 대한 기대감과 하드웨어 제약에 대한 현실적인 고민이 공존함.

https://github.com/ggml-org/llama.cpp/pull/19493

어떤 프롬프트는 속도가 빨라지지만, 그렇지 않은 경우도 있음(낮은 draft acceptance streak 사례).
작업 유형과 반복 패턴에 따라 적절한 파라미터가 달라짐.
코딩 작업의 경우, 다음 파라미터로 0%~50%의 속도 향상을 경험함:

--spec-type ngram-mod --spec-ngram-size-n 24 --draft-min 48 --draft-max 64

원문

커뮤니티 목록

r/LocalLLaMA•5개월 전•256•73

llama.cpp에 speculative checkpointing 기능이 병합됨

llama.cpp speculative checkpointing was merged

핵심 요약

llama.cpp에 speculative checkpointing이 추가되어 특정 작업에서 추론 속도 향상을 기대할 수 있게 됨.

기능 병합 — llama.cpp에 speculative checkpointing이 추가되어 추론 속도 개선이 가능해짐.
성능 최적화 — 작업 유형과 반복 패턴에 따라 0%에서 50%까지 속도 향상 효과를 볼 수 있음.
추가 기능 논의 — DFlash나 SYCL/Vulkan 백엔드 최적화 등 다른 성능 개선 방안들도 함께 언급됨.
사용자 반응 — 새로운 기능에 대한 기대감과 하드웨어 제약에 대한 현실적인 고민이 공존함.

https://github.com/ggml-org/llama.cpp/pull/19493

--spec-type ngram-mod --spec-ngram-size-n 24 --draft-min 48 --draft-max 64

주요 댓글

r/localllama

llama.cpp의 speculative checkpointing 병합 소식에 사용자들은 성능 향상을 기대하며 다양한 최적화 파라미터와 팁을 공유하고 있음.

대박이다. 기여해준 모든 분들께 감사함. llama.cpp 덕분에 매일이 크리스마스 같음.

이거 진짜 기대됨 (DFlash): [링크]

내가 이해하기론 VRAM을 꽤 많이 먹는 것 같은데. vllm이나 transformers 구현이랑 똑같은 거 아님? 수정: 오늘 써봤는데 6GB VRAM으로 Qwen3.6 35B를 5-15 tps로 돌리는데, dflash 쓰니까 VRAM 부족함. vllm, transformers, llama cpp 상관없이 모델이 VRAM에 다 들어가야만 작동하는 듯.

난 3060 모바일 6GB VRAM에서 이 llama.cpp 플래그 써서 컨텍스트 사용량에 따라 28-25 tps 나옴. [플래그]

8B나 4B로 해보거나, 퀀트 더 낮추고 리즈닝 꺼보는 건 어떰?

내가 원하던 건 이게 아닌데. 그래도 다행히 llama.cpp에서 speculative checkpoint를 공개함. ngram이랑 똑같이 별도 speculative 모델 없이도 작동함. 이 방향으로 계속 가면 q3.6도 20tps로 돌릴 수 있을지도.

PR 내용 인용: MoE 타겟(gpt-oss-20b)의 경우, DFlash 속도 향상은 dense attention 타겟보다 일반적으로 작음. 병렬 검증 단계에서 단일 토큰 자동 회귀 디코딩보다 더 많은 전문가가 활성화되기 때문임.

speculative decoding의 유일한 단점은 비전 기능을 못 쓴다는 거임. 내 사용 환경에선 못 써서 아쉬움.

이제 아님! > Speculative decoding 이제 mtmd 컨텍스트랑 호환됨 [링크]

전망을 좀 말하자면, 새로운 B70에 실망했다는 글이 이미 올라왔던데: [링크] 내가 말했듯이 B70을 너무 빨리 판단하지 마셈. 소프트웨어랑 드라이버 개선하는 데 몇 주 걸릴 테니까, 지금 수치가 최종은 아님.

Vulkan 백엔드도 써보셈. PR 업데이트 이후에도 pp 성능은 Vulkan이 SYCL보다 빠른 듯. SYCL의 pp 고치는 것보다 Vulkan의 tg 최적화하는 게 더 나을지도.

이제 Qwen3.5랑 3.6에서 self spec decoding 쓸 수 있다는 거네!! 파라미터에 추가하고 토큰 쏟아지는 거 구경하면 됨. 수정: 아, 쏟아지는 건 아니지만 공짜 토큰 좀 얻을 수 있음 ㅋㅋ

이거 얼마나 잘 됨? 이 브랜치에서 두 번째 draft 모델 쓰는 일반 spec dec도 가능한 거임?

ngram-mod가 뭘 매칭하는지 생각해보면 수락률 차이는 당연함. 보일러플레이트나 반복되는 변수명 많은 코드(TS/Java 엔터프라이즈 패턴)는 0-50%까지 나오겠지만, 일회성 로직이나 리즈닝은 거의 0일 거임. --spec-ngram-size-n 24는 좀 빡셈. 24토큰 컨텍스트 매칭은 아주 정확한 반복을 기다리는 거라, 코드랑 글 섞인 작업은 8-12 정도로 낮춰서 실험해보는 게 나을 듯.

원문r/LocalLLaMA