Gemma 4 QAT가 KV 캐시 양자화에 훨씬 더 잘 반응하는 것 같음

KLD는 특정 프롬프트(또는 프롬프트 세트)와 특정 토큰 위치에서 측정된다는 점을 알아야 함.

Heretic 작업하면서 계속 느낀 건데, 이런 선택들이 KLD 값에 엄청난 영향을 줄 수 있음. 특히 CoT 출력에 확률 가중치를 거의 다 흡수해서 양자화나 abliteration에 별 영향 안 받는 “마커 토큰”이 있는 추론 모델의 경우엔 더더욱.

결론적으로, 두 KLD 값은 오직…

글쓴이가 설정 정보를 거의 안 올려서 알 수가 없지... 다들 Gemma 4 KV cache 양자화에 대해 망했다고 난리인데, 정작 제대로 된 벤치마크는 안 보여주니 뭘 믿어야 할지 모르겠음. KLD 말고는 그냥 '뇌엽절제술 당함, 암튼 내 말이 맞음' 수준이라.

그럼 wikitext로 KLD 측정하는 게 모델 성능이 얼마나 좋은지는 제대로 안 보여준다는 거임?

31B 파라미터에서 99.9% 정확하다는 건, 3억 1천만 개의 파라미터가 부정확하다는 소리 아님?

💯 (0.1점 깎음)

사람들이 특정 출력에 파라미터가 얼마나 중요한지 측정하는 거 알거든. 도메인 특화 방식으로 파라미터가 얼마나 영향을 받는지 확인해보는 게 의미가 있을까, 아니면 내가 잘못 생각하고 있는 건가?

너 지금 imatrix 양자화 말하는 거 같은데, 내가 제대로 이해했다면 틀린 생각 아님. '특정 출력에 파라미터가 얼마나 중요한지 측정한다'는 부분이 바로 importance matrix가 하는 일이야. 모델에 보정 데이터를 돌려서 활성화 통계를 측정하고, 그걸로 어떤 가중치를 더 공격적으로 양자화할지, 어떤 가중치가 추가적인 정확도를 필요로 하는지 결정하는 거지.

정확히 짚었네. 내 생각엔 어차피 다 블랙박스 같은 거니까, 특정 레이어에는 더 공격적인 퀀타이제이션을 적용하고 다른 레이어는 높은 정밀도를 유지하는 식으로 전체적인 손실은 낮추면서 모델 크기를 획기적으로 줄일 수 있는 거 같아. REAP이나 프루닝, 증류 같은 것들도 있지만, 이런 것들은 모델을 바보로 만드는 경우가 많거든. 그리고 이건 아키텍처에 따라 다른데, 단순히 dense vs moe의 문제가 아니라 모델 자체의 문제이기도 해. 걔네들은 …