Gemma 4 31B 비교 (Q4_k_M, QAT, heretic) 간단 후기

구글이 친절하게도 Gemma QAT 모델의 비양자화 버전을 제공해 줘서, 조만간 Heretic QAT 버전도 나올 것 같네요. 비양자화 QAT 모델을 Heretic으로 먼저 처리한 다음, 결과물을 Q4_0으로 양자화하면 될 테니까요.

맞아, 그게 효과가 있을 거야. QAT는 개별 가중치 수준에서 작동하는 게 아니라, 모델 전체가 정밀도 손실에 강하도록 학습되는 방식이니까.

100% 동의함. QAT가 일반 quant보다 훨씬 강력함. Gemma4의 코딩 능력이 저평가된 건 quant가 별로여서 그런 것 같음. r/LocalLlama에서 새로운 QAT 경험이 쌓일수록 Gemma4를 더 선호하게 될 거라 장담함. 진짜 놀라움. 개인적으로 Gemma4 31B QAT는 Qwen 3.6 27B랑 최소 동급(코딩 포함)이면서 reasoning 토큰은 1/3밖에 안 씀.

지금까지는 진짜 놀라운 수준인데, Qwen 3.6 35B Q4 MXFP4랑 비교하면 어떤지 보려면 테스트가 더 필요함. 일단은 더 큰 MOE 모델이랑 꽤 비슷하게 느껴짐. QAT Q4_0으로 JS 게임 하나를 원샷으로 짜봤는데, 간단한 실수를 하긴 했지만 금방 고쳐지더라. 예전 비 QAT Q4_0 모델은 그거랑 비교하면 거의 뇌가 절제된 수준이었음. 26B 모델에서 마음에 드는 건 코딩할 때 Qwen 35B가 보여주는 그 장황한 헛소리에 비해 추론이 훨씬 간결하다는 점임.

지금까지는 진짜 감탄 중인데, Qwen 3.6 35B Q4 MXFP4랑 비교하면 어떨지 테스트가 더 필요함. 지금까지는 더 큰 MOE 모델이랑 꽤 비슷하게 느껴짐. QAT Q4_0으로 JS 게임을 원샷으로 시도해봤는데, 간단한 실수를 하나 했지만 금방 고쳐지더라. 예전 비 QAT Q4_0 모델은 비교하면 거의 뇌가 절제된 수준이었음. 26B에서 내가 제일 마음에 드는 건 코딩할 때 Qwen 35B의 장황한 헛소리에 비해 추론이 아주 간결하다는 점임.