r/LocalLLaMA•약 1개월 전•100•34

신규: Llama.cpp 추론 속도 향상을 위한 적응형 추측(Adaptive Speculation)

New: Llama.cpp adaptive speculation for faster inference

핵심 요약

Llama.cpp의 추론 성능을 최대 50%까지 높여주는 적응형 추측 기능이 공개되었습니다.

적응형 추측 기능 — 콘텐츠 유형에 따라 토큰 생성 수를 자동으로 조절함
성능 향상 — Strix Halo 환경에서 구조화된 콘텐츠 생성 속도가 44t/s에서 65t/s로 증가함
기술적 차별점 — 기존 MTP와 DFlash를 결합하여 동적으로 추측 길이를 최적화함
오픈소스 공개 — GitHub를 통해 포크 버전 및 릴리스 확인 가능

Qwen3.8이랑 다른 모델들 성능 최적화 좀 만져봤다.

이번에 새로 넣은 핵심 기능은 Llama.cpp용 적응형 추론(adaptive speculation)이야.

이게 뭐냐고?
MTP랑 DFlash가 추론 속도 올리는 데는 꽤 괜찮거든, 특히 덴스 모델에서 말이야. 근데 콘텐츠 종류마다 필요한 설정값이 다 다르단 말이지. 기존 Llama.cpp는 딱 하나의 값만 지원했어.

이번 포크 버전에는 적응형 추론을 도입했어. 최소값이랑 최대값만 설정해두면 엔진이 알아서 추천 토큰 수를 조절해. 덕분에 메인라인 대비 토큰 생성 속도가 최대 50%까지 빨라졌는데, 특히 Qwen3.8에서 효과가 좋아. Strix Halo 환경에서 테스트해보니까 구조화된 콘텐츠 기준으로 44t/s에서 65t/s까지 뻥튀기되더라.

Github: https://github.com/LaurentZuijdwijk/llama.cpp

Release: https://github.com/LaurentZuijdwijk/llama.cpp/releases

https://www.reddit.com/submit/?source_id=t3_1vxx51g&composer_entry=crosspost_prompt

원문

커뮤니티 목록

r/LocalLLaMA•약 1개월 전•100•34

신규: Llama.cpp 추론 속도 향상을 위한 적응형 추측(Adaptive Speculation)

New: Llama.cpp adaptive speculation for faster inference

핵심 요약

Llama.cpp의 추론 성능을 최대 50%까지 높여주는 적응형 추측 기능이 공개되었습니다.

적응형 추측 기능 — 콘텐츠 유형에 따라 토큰 생성 수를 자동으로 조절함
성능 향상 — Strix Halo 환경에서 구조화된 콘텐츠 생성 속도가 44t/s에서 65t/s로 증가함
기술적 차별점 — 기존 MTP와 DFlash를 결합하여 동적으로 추측 길이를 최적화함
오픈소스 공개 — GitHub를 통해 포크 버전 및 릴리스 확인 가능

Qwen3.8이랑 다른 모델들 성능 최적화 좀 만져봤다.

이번에 새로 넣은 핵심 기능은 Llama.cpp용 적응형 추론(adaptive speculation)이야.

Github: https://github.com/LaurentZuijdwijk/llama.cpp

Release: https://github.com/LaurentZuijdwijk/llama.cpp/releases

https://www.reddit.com/submit/?source_id=t3_1vxx51g&composer_entry=crosspost_prompt

주요 댓글

r/localllama

사용자들은 새로운 최적화 기능에 관심을 보이며 기존 메인라인과의 차이점 및 하드웨어 성능 영향에 대해 활발히 질문하고 있습니다.

그거 본인 거 아니지 않음? https://github.com/ggml-org/llama.cpp/pull/27210

그 PR은 내 거랑 좀 다름. 거긴 MTP만 건드리고 DFlash는 안 건드리거든. 내 측정 결과로는 DFlash 쪽에서 가장 큰 성능 향상이 있었음. 추측 길이를 조절하는 방식도 다르고.

아니. 저 PR은 못 봤는데 아이디어는 좋네 하하.

왜 메인라인에 풀 리퀘스트 안 보냄?

다른 성능 개선 건으로 메인라인에 PR 보낸 건 있음. 일단 그게 어떻게 처리되는지 보고 나서.

당신이 만든 최적화 포크 계속 지켜보고 있었음. Strix Halo 같은 저대역폭 하드웨어에서 성능 향상된 거 축하함. 근데 이 적응형 추측 기능이 메인 디코드 과정에서 연산 자원을 얼마나 잡아먹음? Strix Halo의 아킬레스건이 프리필이라서.

좋게 봐줘서 고마움! 이 포크에는 프리필 개선 사항도 좀 포함되어 있음. 이 브랜치에서 Qwen3.8은 440, Ornith1.5는 약 1600 정도 측정됨. DFlash가 프리필에 미치는 영향은 따로 측정 안 해봤음. 적응형 프리필은 끌 수 있고, 이 기능을 구동하는 통계 데이터는 이미 수집되던 거라 사실상 공짜나 다름없음.

콘텐츠 유형이 다르다는 게 무슨 뜻인지 좀 더 자세히 알려줄 수 있음? 수학/코드/글쓰기/법률 같은 걸 말하는 거임, 아니면 텍스트/이미지/소리 같은 걸 말하는 거임?

MTP랑 DFlash는 자유 형식의 산문보다 HTML이나 JSON <body><head> 같은 구조화된 콘텐츠를 생성할 때 다음 토큰을 예측하는 능력이 훨씬 뛰어남. 모델마다 조금씩 다르고 DFlash랑 MTP도 품질이나 길이 면에서 차이가 있음.

디코딩 과정에서 산문(문제 해결을 위한 사고)을 하다가 구조화된 형식으로 즉석에서 전환되기 때문에 특정 수치를 고정하기가 어려움. 내 작업은 수락률에 기반해서 생성되는 토큰 수를 범위 내에서 줄이거나 늘릴 수 있게 해줌...

MTP가 CPU 추론에서도 성능 향상을 가져올 가능성이 있을까 궁금하네.

원문r/LocalLLaMA