Gemma 4 26B A4B의 QAT 버전 성능이 별로인 것 같음

예전에도 Gemma 3 27B Q4_K_XL이 Gemma 3 27B QAT보다 좋았었지...

흥미롭네. 양자화 방식에 따라 품질이 이렇게 널뛰는 게 참 신기함. 체스 관련 테스트를 더 해보고 그래도 QAT가 구린지 확인해줄 수 있음?

그리고 온도(temperature)를 좀 낮춰서 똑같이 테스트해봐 줄 수 있어? 권장 사양은 1.0이라지만, 이 특정 테스트에서는 필요한 정밀도가 너무 랜덤하게 튀는 걸 수도 있음.

오늘 QAT 버전 4개 다 써봄. 컨텍스트 길이 빼고는 다 LM Studio 기본 설정으로 썼음. 각각한테 6월 초를 묘사하는 현대 영어 셰익스피어 소네트를 지으라고 시켰음. 각 줄의 첫 글자는 14글자의 요약 단어나 구절로 된 아크로스틱이어야 함. 이건 내가 새 모델 테스트할 때 쓰는 표준 테스트인데 (주제는 매번 바꿈, 오늘은 '6월 초'), 대부분의 모델은 비교적 쉽게 해내는 작업임. 어느 정도 사고력이 필요한 복잡한 작업인데...

네 테스트 너무 어렵다. 내 짧은 지식과 실력으로는 10번 시도해서 10번 다 실패할 듯.

어제 31B랑 26B로 오염되지 않은 커스텀 벤치마크 돌려봤는데, Unsloth QAT가 비QAT Unsloth 모델 Q4보다 훨씬 약하더라. 더 좋을 줄 알았는데. 구글 양자화 버전도 써보고 다른지 확인해봐야겠음. 아니면 그냥 특정 작업 유형에 많이 약한 걸지도.

Reasoning 켰음 안 켰음?

혹시나 해서 묻는데, 최근에 llama.cpp 업데이트했으면 서버 웹 UI에 Reasoning용 컨트롤이 새로 생겼는데 그거 못 봤을 수도 있음.

근데 한 번 해본 결과로는 Reasoning 켠 26B A4B Q8_0(비QAT)도 결과가 안 좋네. 아니면 더 여러 번 시도해야 하거나, Gemma 4한테 KV 캐시 Q8_0/Q8_0이 진짜 안 맞는 걸 수도 있고. [이미지]