Unsloth Gemma 4 QAT MTP 어시스턴트 모델 출시

음, 탄탄하긴 한데 QAT 버전이 예전 UD-Q4_K_S 릴리즈보다 성능이 20% 정도 떨어질 가능성도 있음! 자세한 건 여기: https://old.reddit.com/r/unsloth/comments/1u0sv58/surprising_test_results_updated_for_more_gemma4/ 만약 그 추세가 사실이라면 우리가 지금 뭘 하고 있는 건지... 확실히 제대로 조사해볼 필요가 있음.

그 사람이 이 간단한 테스트로 말하려던 건, 표준 K_S 퀀트에서는 전혀 안 그랬는데 QAT에서는 데이터가 뭉개지고 있다는 거 아님? 여러 모델에서 똑같은 추세가 보였고. 물론 제대로 된 벤치마크로 검증은 필요하겠지. 그리고 LLM을 형편없는 계산기로 쓰면 안 된다는 건 당연한 소리고, 아무도 그걸 권장한 건 아님. 그냥 시작하기 위한 간단한 벤치마크였을 뿐이지.

opencode로 버그 찾기랑 코딩 테스트해 봤는데, QAT가 UD5보다 확실히 훨씬 구림.

저한테는 Q8_0 어시스턴트가 (llama.cpp의 quantize로 만든) Q4_0보다 더 안 좋게 느껴지네요. 긴 컨텍스트에서는 더 나을지도 모르겠네요? 하지만 제 입장에서는 용량 대비 가치가 없어 보입니다. Gemma의 Q4_0과 llama.cpp의 Q4_0 간의 차이 때문에 더 나을 줄 알았거든요. spec-draft-n-max를 2로 하든 4로 하든 똑같거나 더 안 좋네요.

model: gemma-4-31B-it-qat-Q4_K_XL-no_mtp
  code_python        pred= 192 draft=   0 acc=   0 rate=n/a tok/s=39.8
  code_cpp           pred= 192 draft=   0 acc=   0 rate=n

(이하 생략)

RAM 1GB 더 쓰는 대신 토큰 생성 속도(tps) 10% 향상이라. 음..

어떤 분할 모드(split mode)로 돌리고 계신가요?

레이어 단위로 분할하면 성능 향상이 미미하더라고요.

(--split-mode layer)

텐서 단위로 분할하면 확실히 성능 향상이 느껴집니다.

(--split-mode tensor)