Kaitchup이 Qwen3.8 27B의 Q4부터 Q1까지 양자화 벤치마크 결과를 공개함

말 되네. 나도 3.6 27b q8 쓰다가 3.8 27b q6로 넘어갔는데, 결과물 퀄리티가 훨씬 좋아졌음.

이게 모델이 코딩을 얼마나 잘하는지, 130k 코딩 세션에서 세부 정보를 얼마나 안 놓치는지 알려주는 건 아니라는 점을 명심해.

이건 그냥 제로 컨텍스트에서 f16 벤치마크 결과랑 얼마나 가까운지를 보여주는 건데, 코딩 모델을 양자화하는 방식으로는 최악이야. 이런 모델들을 평가하는 실용적인 방법이 따로 있어: 먼저 SOTA 모델이나 네가 가진 최고의 27B 모델로 텐서 가중치를 분석해서 그게 코딩, 새로운 문제 해결 능력, 명세 준수, 세부 정보 유지 등에 어떤 영향을 미칠지 평가하는 거지...

ISTA-DASLab 양자화 모델들 괜찮음. 나도 Q3 쓰고 있는데 리버스 엔지니어링 작업에 잘 돌아가더라.

그 말 하려던 참이었음. ISTA-DASLab IQ3 양자화 모델 진짜 마음에 듦. 방금 새로운 MTP 모델 세트 올라와서 다시 다운받으려고. 크기 대비 성능은 단연 최고임. 내 16GB 카드에 컨텍스트 엄청나게 넣을 수 있는데, 12GB 쓰는 사람들도 이제 27B 쓸 수 있을 듯. 진짜 잘 만들었어.