llama.cpp Gemma4 MTP support merged!
llama.cpp가 Gemma 4의 MTP(다중 토큰 예측)를 공식 지원하며, QAT와 결합해 획기적인 속도 향상을 보여줌.
github.com
원문 사이트로 이동
사용자들은 Gemma 4의 MTP 지원에 대해 매우 긍정적이며, QAT와 결합하여 성능을 극대화하는 설정법을 공유하며 열광하고 있습니다.
QAT + MTP 가즈아!
최신 llama.cpp에서 둘 다 활용하려면 어떻게 해야 함? 어떤 모델을 써봐야 할까?
구글의 QAT GGUF를 구해서 적절한 어시스턴트 모델 GGUF를 사용해. 예를 들어 난 https://huggingface.co/RachidAR/gemma-4-26B-A4B-it-qat-assistant-q4_0-gguf 에서 받은 26B-A4B QAT Q4_0 모델이랑 Q4_0 q4emb GGUF를 쓰고 있어.
llama-server 명령줄에 이걸 추가해야 해: --spec-draft-model <assistant_model_gguf> --spec-type draft-mtp --spec-draft-n-max 2
아키텍처에 따라 1.2배 정도...
좋은 정보 고마워. RTX 5080에서 26B 돌리고 있어서 링크 따라 해봤어. 속도가 60에서 100~120 정도로 바로 뛰더라(내 단순한 샘플 질문 때문일 수도 있지만). 시간이 지나면 70으로 떨어지긴 하는데 그래도 훌륭함.
도커에서 돌리는 내 인자값은 이거야:
--model /path/to/gemma-4-26B-A4B-it-qat-UD-Q4_K_XL.gguf
--port 8080
--host 0.0.0.0
--threads 8
--temp 1.0 --top_p 0.95 --top_k 64
--fit on
--fit-target 512
--fit-ctx 65536
--spec-d
이게 가능하다면 정말 기쁠 듯. 제발 둘 중 하나만 골라야 하는 건 아니길.
행복을 가져다줄 정보를 들고 왔음.
구글의 QAT 릴리즈 블로그 포스트에서 QAT와 MTP를 함께 사용하는 걸 명시하고 있어: https://blog.google/innovation-and-ai/technology/developers-tools/quantization-aware-training-gemma-4/
MTP QAT 체크포인트를 사용해 모델을 양자화하면서 MTP의 속도 향상을 유지하세요
게다가 허깅페이스 계정에 vLLM 형식의 QAT MTP("어시스턴트") 모델도 있음: https://huggingface.co/google/gemma-4-31B-it-qat-q4_0-unquantized-assistant
살아있길 잘했다! 진짜 흥미진진하네. 31B 모델에서 속도 향상이 꽤 있을 것 같아. 특히 QAT 쓰기 전에 돌리던 구형 Q6 양자화 모델보다 훨씬 나을 듯.
다른 모델들도 오디오 지원되는 통합 아키텍처를 가졌으면 좋겠어.
그치? 둘 다 동시에 나온 건 진짜 타이밍 예술임.
이제 병합된 PR이랑 QAT GGUF, MTP 어시스턴트/드래프터 써서 12GB VRAM(RTX 4070 Super)에서 Gemma 4 12B로 140 tok/s 찍음 😄
Unsloth QAT GGUF: https://huggingface.co/unsloth/gemma-4-12B-it-qat-GGUF
MTP 어시스턴트 / 드래프터: https://huggingface.co/Janvitos/gemma-4-12B-it-qat-assistant-MTP-Q8_0-GGUF
llama.cpp 명령어:
llama-server \
-m gemma-4-12B-it-qat-UD-Q4_K_XL.gguf \
--model-draft gemma-4
4070 때도 12GB는 말도 안 됐는데 5070에서 또 12GB로 낸 건 엔비디아가 진짜 미친 거임. 그 회사 너무 싫다.
이거 양자화된 KV 캐시랑도 작동함? 메인 모델이랑 드래프터 둘 다?
어떻게 컨텍스트 사이즈 131k를 뽑음? 난 같은 사양인데 32k도 겨우 나오는데.
31B의 경우엔 -np나 parallel을 1로 설정해야 메모리에 들어가더라.
미국 기업들이 비용 절감과 데이터 보안을 이유로 비싼 프론티어 AI 모델 대신 오픈 소스 모델로 눈을 돌리고 있음.
미국 기업들이 비용 절감과 데이터 보안을 이유로 비싼 프론티어 AI 모델 대신 오픈 소스 모델로 눈을 돌리고 있음.
Claude Sonnet 5.5는 이전 세대보다 30% 더 빠르고 저렴하며, 향상된 코딩 및 문서 작업 능력을 갖췄습니다.
Claude Sonnet 5.5는 이전 세대보다 30% 더 빠르고 저렴하며, 향상된 코딩 및 문서 작업 능력을 갖췄습니다.
Cursor의 모델 성능과 사용량 제한에 실망한 사용자가 Claude로 완전히 전환하며 겪은 경험을 공유함.
Cursor의 모델 성능과 사용량 제한에 실망한 사용자가 Claude로 완전히 전환하며 겪은 경험을 공유함.