16GB VRAM에서 Qwen3.8 27B 모델의 9가지 KV 양자화 방식 189개 벤치마크 테스트 결과
I tested Qwen3.8 27B KLD for 21 Models at 9 different KV quants that fit on 16GB VRAM (189 benchmarks).
핵심 요약
16GB VRAM 환경에서 Qwen 27B 모델의 최적 양자화 조합을 KLD와 퍼플렉시티로 분석한 결과, q5_1/q5_1 조합이 가장 효율적임을 확인했습니다.
- 양자화 분석 — 16GB VRAM 내에서 모델 및 KV 양자화 조합에 따른 KLD 성능 비교함
- 최적 조합 — q5_1/q5_1 방식이 q8_0/q4_0이나 q4_0/q8_0보다 전반적으로 우수한 성능을 보임
- 모델 양자화 우선 — KV 양자화보다 모델 자체의 양자화 단계를 높이는 것이 KLD 측면에서 더 유리함
- 테스트 한계 — 긴 컨텍스트에서의 성능 저하 등은 추가 검증이 필요하며, 모델별 특성에 따라 결과가 다를 수 있음
16GB VRAM에 들어가는 Qwen3.8 27B 모델들에 대해 KLD랑 퍼플렉시티 계산해 봤다.
벤치마크는 댓글 확인해라. 레딧 필터 때문에 자꾸 글이 삭제되네.
결론:
q5_1/q5_1이 q8_0/q4_0이나 q4_0/q8_0보다 거의 항상 낫다.
q8_0/q4_0이랑 q4_0/q8_0 사이에는 차이가 거의 없다.
q4_0/q8_0이 q8_0/q4_0보다 나을 때도 있다. 그러니까 그냥 맘 편하게 q5_1/q5_1로 가는 게 속 편하다.
KLD 측면에서 보면, 모델 양자화 단계를 하나 올리고 q4_0/q4_0으로 돌리는 게, 낮은 단계 모델을 f16/f16으로 돌리는 것보다 거의 항상 낫다. 그러니까 기본적으로 q4_0/q4_0 기준으로 가능한 가장 높은 양자화 모델을 골라라. 그러고 나서 VRAM 남으면 KV 양자화를 올려라.
참고로 이건 낮은 양자화 단계에서나 적용되는 얘기다. q6에서 q8 모델 양자화로 넘어가는 상황이라면 모델 양자화 효율이 떨어지니까 KV 양자화를 올리는 게 이득일 수도 있다. 그리고 이건 f16 KV를 써야 하는 Gemma 같은 다른 모델들에는 적용 안 된다.
Bonsai랑 swift 양자화도 포함은 했는데, 얘네는 파인튜닝 모델이라 KLD가 워낙 다르게 나와서 KLD 계산하는 게 큰 의미는 없다.
