r/LocalLLaMA•6개월 전•135•13
Qwen3.5-4B GGUF 양자화 비교 (KLD vs 속도) - 루나 레이크(Lunar Lake)
Qwen3.5-4B GGUF quants comparison (KLD vs speed) - Lunar Lake
핵심 요약
인텔 루나 레이크 iGPU 환경에서 Qwen3.5-4B 모델의 양자화 방식별 속도와 품질(KLD)을 상세 비교한 벤치마크입니다.
- 양자화 효율성 — Q5_K_S와 Q6_K 모델이 속도 저하를 최소화하면서도 높은 품질(KLD < 0.01)을 유지하는 최적의 지점으로 나타남.
- 백엔드 성능 — 루나 레이크 iGPU 환경에서 Vulkan 백엔드가 Intel SYCL보다 유의미하게 빠른 성능을 보여줌.
- KLD 측정 변동성 — Wikitext 기반 KLD 수치는 텍스트 소스에 따라 변동이 심하므로 미세한 차이에 집착하기보다 전반적인 경향을 봐야 함.
- 컨텍스트 안정성 — Qwen3.5-4B는 컨텍스트 크기가 10k까지 늘어나도 토큰 생성 속도(TG)가 거의 일정하게 유지되는 특성을 보임.
이 노트북(Intel 258V - iGPU 140V 18GB)에서 어떤 타입의 양자화가 가장 좋은지 알고 싶어서, 더 큰 모델에도 적용되기를 바라며 이 작은 양자화 모델들을 모두 테스트해 봤습니다:
우승자 (굵게 표시, KLD≤0.01)
| Uploader | Quant | tk/s | KLD | GB | KLD/GB* |
| --- | --- | --- | --- | --- | --- |
| mradermacher* | Q4_0 | 28.97 | 0.052659918 | 2.37 | 0.04593 |
| mradermacher_i1 | Q4_0 | 28.89 | 0.059171561 | 2.37 | 0.05162 |
| mradermacher_i1 | IQ3_XXS | 28.59 | 0.177140713 | 1.77 | 0.20736 |
| Unsloth | UD-IQ2_XXS | 28.47 | 0.573673327 | 1.42 | 0.83747 |
| Unsloth | Q4_0 | 28.3 | 0.053431218 | 2.41 | 0.04583 |
| Bartowski | Q4_0 | 28.28 | 0.049796789 | 2.45 | 0.04200 |
| mradermacher | Q4_K_S | 27.74 | 0.050305722 | 2.39 | 0.04350 |
| Unsloth | Q4_K_S | 27.29 | 0.028402815 | 2.41 | 0.02429 |
| Unsloth | UD-IQ3_XXS | 27.03 | 0.146879419 | 1.82 | 0.16718 |
| mradermacher | Q2_K | 26.98 | 0.858648176 | 1.78 | 1.00000 |
| mradermacher_i1 | Q4_K_M | 25.95 | 0.026540567 | 2.52 | 0.02169 |
| mradermacher_i1 | IQ3_XS | 25.89 | 0.147214121 | 1.93 | 0.15800 |
| Unsloth | Q3_K_M | 25.68 | 0.071933741 | 2.14 | 0.06955 |
| mradermacher | Q4_K_M | 25.65 | 0.045641299 | 2.52 | 0.03741 |
| Unsloth | Q4_1 | 25.55 | 0.027891336 | 2.59 | 0.02219 |
| mradermacher_i1 | Q4_1 | 25.37 | 0.026074872 | 2.58 | 0.02081 |
| mradermacher_i1 | Q3_K_M | 25.3 | 0.097725191 | 2.11 | 0.09588 |
| Unsloth | Q4_K_M | 25.24 | 0.025038545 | 2.55 | 0.02022 |
| mradermacher | Q3_K_M | 25.11 | 0.134816481 | 2.11 | 0.13233 |
| Bartowski | Q4_K_M | 25.04 | 0.021567758 | 2.67 | 0.01661 |
| mradermacher_i1 | Q4_K_S | 24.79 | 0.029635327 | 2.39 | 0.02557 |
| mradermacher* | Q5_0 | 24.68 | 0.016011348 | 2.78 | 0.01180 |
| Unsloth | UD-Q2_K_XL | 24.47 | 0.257632552 | 1.81 | 0.29497 |
| Unsloth | UD-Q3_K_XL | 24.28 | 0.060193337 | 2.27 | 0.05484 |
| mradermacher | Q5_K_S | 24.03 | 0.014901354 | 2.78 | 0.01097 |
| mradermacher_i1 | IQ3_M | 24.03 | 0.12177067 | 2.01 | 0.12547 |
| mradermacher | Q3_K_L | 23.84 | 0.13041761 | 2.26 | 0.11950 |
| mradermacher_i1 | Q3_K_L | 23.66 | 0.090757172 | 2.26 | 0.08312 |
| Unsloth | UD-Q4_K_XL | 23.49 | 0.021954506 | 2.71 | 0.01665 |
| mradermacher | Q5_K_M | 23.24 | 0.013006221 | 2.86 | 0.00929 |
| **Unsloth** | **Q5_K_S** | **23.17** | **0.009194176** | 2.82 | 0.00662 |
| mradermacher_i1 | Q5_K_S | 22.78 | **0.009151312** | 2.78 | 0.00668 |
| Unsloth | Q3_K_S | 22.76 | 0.131018266 | 1.96 | 0.13845 |
| **Bartowski** | **Q5_K_S** | **22.71** | **0.007777943** | 2.91 | 0.00540 |
| mradermacher_i1 | Q3_K_S | 22.71 | 0.154451808 | 1.93 | 0.16578 |
| Unsloth | Q5_K_M | 22.46 | **0.008185137** | 2.93 | 0.00565 |
| mradermacher_i1 | Q5_K_M | 22.2 | **0.008807971** | 2.86 | 0.00624 |
| mradermacher_i1 | IQ4_NL | 22.11 | 0.035745155 | 2.43 | 0.03036 |
| Unsloth | IQ4_NL | 22.06 | 0.033689086 | 2.4 | 0.02896 |
| mradermacher* | Q5_1 | 22.04 | 0.011970632 | 2.99 | 0.00816 |
| Unsloth | UD-Q5_K_XL | 22.01 | **0.008566809** | 3.03 | 0.00572 |
| mradermacher | Q3_K_S | 21.96 | 0.209124569 | 1.93 | 0.22451 |
| **Bartowski** | **Q5_K_M** | **21.91** | **0.006410029** | 3.09 | 0.00416 |
| mradermacher_i1 | IQ4_XS | 21.61 | 0.043640734 | 2.34 | 0.03853 |
| Unsloth | IQ4_XS | 21.59 | 0.033083008 | 2.31 | 0.02955 |
| mradermacher | IQ4_XS | 21.58 | 0.037995139 | 2.36 | 0.03324 |
| Bartowski | IQ4_XS | 21.26 | 0.036717438 | 2.35 | 0.03225 |
| mradermacher | Q6_K | 20.59 | **0.005153856** | 3.23 | 0.00317 |
| mradermacher_i1 | Q6_K | 20.3 | **0.005765065** | 3.23 | 0.00356 |
| **Unsloth** | **Q6_K** | **20.24** | **0.003640111** | 3.28 | 0.00216 |
| Unsloth | UD-IQ2_M | 19.16 | 0.290956558 | 1.64 | 0.36769 |
| Bartowski | Q6_K | 19.15 | **0.003466296** | 3.4 | 0.00197 |
| Bartowski | Q6_K_L | 18.79 | **0.002772501** | 3.54 | 0.00148 |
| Unsloth | UD-Q6_K_XL | 18.5 | **0.002394357** | 3.86 | 0.00114 |
| **mradermacher** | **Q8_0** | **18.15** | **0.000762229** | 4.17 | 0.00024 |
| mradermacher* | MXFP4_MOE | 18.13 | **0.000762229** | 4.17 | 0.00024 |
| Unsloth | Q8_0 | 18.09 | **0.000778796** | 4.17 | 0.00025 |
| Bartowski | Q8_0 | 18.08 | **0.000809347** | 4.19 | 0.00026 |
| Unsloth | UD-Q8_K_XL | 12.28 | **0.000378562** | 5.54 | 0.00000 |
