r/LocalLLaMA•6개월 전•258•86
Qwen3.5-9B 양자화 비교 업데이트
Updated Qwen3.5-9B Quantization Comparison
핵심 요약
Qwen3.5-9B의 다양한 GGUF 양자화 버전을 KLD 지표로 비교하여 최적의 모델 선택 기준을 제시함.
- KLD 평가 — 양자화 모델의 정보 손실 정도를 원본 모델과 비교하여 측정함.
- 데이터 기반 선택 — PPL보다 신뢰도 높은 KLD 지표를 통해 최적의 양자화 파일을 추천함.
- 시각화 개선 — 가독성을 높이기 위해 차트 내 도형 구분 등 시각적 요소 보완 중.
- 커뮤니티 협업 — 다른 개발자들의 기여를 반영하고 향후 Gemma 4 등 추가 모델 분석 계획.
이것은 Qwen3.5-9B의 커뮤니티 GGUF 양자화 버전에 대한 KLD 평가이며, BF16 기준선과 평균 KLD를 비교한 것입니다.
목표는 사람들이 단순히 사용 가능한 파일을 무작정 가져오는 대신, 데이터에 기반하여 파일을 선택할 수 있는 근거를 제공하는 것입니다.
KLD (KL Divergence): "충실도(Faithfulness)." 양자화된 모델의 확률 분포가 기준선(원본 가중치의 확률 분포)에서 얼마나 벗어났는지를 보여줍니다. 낮을수록 더 가깝습니다.
정보 손실량을 확인하려는 것이고, PPL은 운에 따라 더 좋은 점수를 받을 수 있어 노이즈가 심하기 때문에, 데이터셋이 아닌 기준선에 의존하는 KLD가 더 낫습니다.
가장 충실한 양자화 모델이 필요하다면, KLD가 가장 낮은 것을 선택하세요.
KLD 순위
굵게 표시된 KLD 점수 <0.01 - 낮을수록 좋음
|양자화|크기_GiB|PPL_점수|KLD_점수|
|:-|:-|:-|:-|
|**eaddario/Qwen3.5-9B-Q8_0**|**8.873**|**19.177240**|**0.001198**|
|**unsloth/Qwen3.5-9B-UD-Q8_K_XL**|**12.083**|**19.183966**|**0.001243**|
|**bartowski/Qwen_Qwen3.5-9B-Q8_0**|**8.89**|**19.184374**|**0.001405**|
|**lmstudio-community/Qwen3.5-9B-Q8_0**|**8.873**|**19.184470**|**0.001410**|
|**ZeroWw/Qwen3.5-9B.q8_p**|**8.873**|**19.189372**|**0.001412**|
|**unsloth/Qwen3.5-9B-Q8_0**|**8.873**|**19.175181**|**0.001433**|
|**AaryanK/Qwen3.5-9B.q8_0**|**8.873**|**19.177790**|**0.001445**|
|**DevQuasar/Qwen.Qwen3.5-9B.Q8_0**|**8.873**|**19.186216**|**0.001464**|
|**ZeroWw/Qwen3.5-9B.q8_0**|**10.649**|**19.188892**|**0.001679**|
|**unsloth/Qwen3.5-9B-UD-Q6_K_XL**|**8.156**|**19.193957**|**0.001910**|
|**bartowski/Qwen_Qwen3.5-9B-Q6_K_L**|**7.592**|**19.202837**|**0.002371**|
|**bartowski/Qwen_Qwen3.5-9B-Q6_K**|**7.134**|**19.213584**|**0.002813**|
|**unsloth/Qwen3.5-9B-Q6_K**|**6.946**|**19.200108**|**0.003080**|
|**Mungert/Qwen3.5-9B-q6_k_m**|**6.872**|**19.235596**|**0.003609**|
|**mradermacher/Qwen3.5-9B.i1-Q6_K**|**6.854**|**19.234343**|**0.003735**|
|**ZeroWw/Qwen3.5-9B.q6_k**|**9.089**|**19.259351**|**0.004625**|
|**AaryanK/Qwen3.5-9B.q6_k**|**6.854**|**19.258445**|**0.004779**|
|**DevQuasar/Qwen.Qwen3.5-9B.Q6_K**|**6.854**|**19.272393**|**0.004801**|
|**lmstudio-community/Qwen3.5-9B-Q6_K**|**6.854**|**19.263994**|**0.004905**|
|**bartowski/Qwen_Qwen3.5-9B-Q5_K_L**|**6.976**|**19.268033**|**0.006068**|
|**unsloth/Qwen3.5-9B-UD-Q5_K_XL**|**6.281**|**19.260486**|**0.006419**|
|**bartowski/Qwen_Qwen3.5-9B-Q5_K_M**|**6.392**|**19.274078**|**0.006604**|
|**Mungert/Qwen3.5-9B-q5_k_m**|**6.336**|**19.263969**|**0.006714**|
|**unsloth/Qwen3.5-9B-Q5_K_M**|**6.126**|**19.298573**|**0.007290**|
|**bartowski/Qwen_Qwen3.5-9B-Q5_K_S**|**6.078**|**19.271394**|**0.008110**|
|**unsloth/Qwen3.5-9B-Q5_K_S**|**5.924**|**19.330239**|**0.009137**|
