Unsloth에서 Gemma 4용 MTP GGUF 가중치 공개
Unsloth just dropped MTP GGUF weights for Gemma 4!
핵심 요약
Unsloth가 Gemma 4 모델군(31B, 26B-A4B, 12B)을 위한 MTP GGUF 가중치를 배포했습니다.
- MTP GGUF 배포 — Unsloth가 Gemma 4 모델을 위한 Q8, F16, BF16 형식의 MTP 가중치를 공개함
- llama.cpp 호환성 — 현재 llama.cpp에서 사용하려면 별도의 PR을 통해 빌드해야 함
- 추론 속도 향상 — MTP를 활용한 추론 가속 및 KV 캐시 재사용 기술이 주목받음
- 기술적 논의 — 드래프트 모델 활용법 및 VRAM 효율성에 대한 사용자들의 활발한 토론 진행
Unsloth에서 31B, 26B-A4B, 12B 모델을 위한 MTP GGUF 가중치(Q8, F16, BF16)를 배포한 것으로 보입니다.
https://huggingface.co/unsloth/gemma-4-31B-it-GGUF/tree/main/MTP
https://huggingface.co/unsloth/gemma-4-26B-A4B-it-GGUF/tree/main/MTP
https://huggingface.co/unsloth/gemma-4-12b-it-GGUF/tree/main/MTP


