Gemma 4 4종 릴리스: 12B, 12B QAT, 26B-A4B QAT 및 31B QAT 검열 해제 Heretic 버전!

감사합니다! 한번 써볼게요. Gemma 4는 제 모국어를 거의 완벽하게 구사하는 유일한 모델이거든요. 어쨌든 qat 자체만으로도 q8 대신 q4를 써서 속도가 빨라지겠네요. 훌륭합니다!

수정: Gemma는 mtp 재미를 못 보겠네요. llama.cpp가 현재 깨져 있습니다 :/

수정: Gemma는 mtp 재미를 못 보겠네요. llama.cpp가 현재 깨져 있습니다 :/

뭐, 조만간 그 기능을 추가해주겠죠, 아마도요.

네, 이미 PR 올라온 걸 봤으니 곧 해결될 것 같네요. 어쨌든 님 qat를 써봤는데 Q8 대비 속도가 정말 잘 나오고 아직 품질 저하도 못 느꼈습니다. 쩌네요.

qat 모델로 llama.cpp에서 MTP 잘 돌아갑니다. PR은 며칠 전에 머지됐어요.

제 models.ini 설정입니다 (전 unsloth 쓰고 있어요):

[gemma-4-31B-it-qat-mtp]
hf = unsloth/gemma-4-31B-it-qat-GGUF:UD-Q4_K_XL
ctxcp = 3
image-min-tokens = 560
image-max-tokens = 2240
batch-size = 4096
ubatch-size = 4096
hfd = unsloth/gemma-4-31B-it-qat-GGUF:Q4_0
spec-type = draft-mtp
spec-draft-n-max = 4

정말 작동하는 거 맞나요? 어제 올라온 답변 보면 unsloth 거 포함해서 Gemma 4 mtp는 여전히 깨져 있다고 하던데요. 로그에 unknown architecture 에러가 뜹니다. 저는 어제자 nightly 빌드 쓰고 있어요. 수정 커밋은 불과 7시간 전에 올라왔습니다.

https://github.com/ggml-org/llama.cpp/issues/24343

MTP 잘 됩니다 (unsloth 사용 시). 어제자 llama.cpp 기준으로 E4B 모델만 빼고 다 잘 돌아가요.

아닌 것 같은데요. 제 다른 댓글 확인해 보세요.