Qwen3.5 0.8B 모델을 위한 보정 인식 Q4_K_M 양자화 'SpectralQuant' 공개 (BF16 대비 96.5% 성능 복구)
We built a calibration-aware Q4_K_M quant of Qwen3.5 0.8B that recovers 96.5% of the BF16 gap vs pure llama.cpp Q4_K_M (SpectralQuant)
핵심 요약
SpectralQuant를 사용하여 기존 Q4_K_M 양자화보다 성능 손실을 획기적으로 줄인 Qwen3.5 0.8B 모델을 공개했습니다.
- SpectralQuant 방식 — 양자화 오차를 중요도에 따라 재배치하여 성능 손실 최소화함
- 성능 복구 — 기존 llama.cpp Q4_K_M 대비 BF16 모델과의 성능 격차를 96.5% 복구함
- 표준 호환성 — 별도의 혼합 정밀도 없이 표준 GGUF 형식을 유지하여 즉시 사용 가능함
- 벤치마크 투명성 — BF16을 상회하는 일부 결과에 대해 데이터셋 노이즈 가능성을 인정하고 추가 검증 중임
다들 안녕,
Spectral Labs에서 첫 번째 릴리스 후보를 내놨어. SpectralQuant라고 부르는 새로운 보정 인식 양자화 방식을 써서 만든 Qwen3.5 0.8B Q4_K_M이야.
이번 목표는 표준 Q4_K_M 용량을 유지하면서도 더 큰 양자화 포맷처럼 작동하게 만드는 거였어. 물론 표준 llama.cpp 호환성을 깨뜨리거나 혼합 정밀도 사이드카를 추가하는 짓은 안 했지.
방법론 (SpectralQuant)
보통 양자화는 국소적인 반올림 문제로 접근하거든? 근데 SpectralQuant는 다르게 접근했어. 보정 신호를 사용해서 모델에서 동작상 민감한 방향을 찾아내는 방식이야. 양자화 오차를 골고루 퍼뜨리는 대신, 영향력이 적은 영역이 압축 부담을 더 많이 지도록 오차를 조정해서 중요한 가중치를 보호하는 거지.
결과
여러 검증 세트에서 프롬프트 손실(낮을수록 좋음)을 기준으로 평가했어. 이번 릴리스에서는 우리가 만든 고정 용량 Q4_K_M(4.52 BPW / 415.7 MiB)을 BF16 레퍼런스, 표준 llama.cpp 순정 Q4_K_M, 그리고 여러 Unsloth 양자화 모델들과 비교해 봤어.
| Model | BPW est. | Size MiB | convergence60 | heldout120 | C4 (64x256) |
|---|---|---|---|---|---|
| BF16 reference | 16.01 | 1446.5 | 2.2682 | 2.9809 | — |
| SpectralQuant Q4_K_M | 4.52 | 415.7 | 2.2509 | 2.9961 | 3.2874 |
| Unsloth UD-Q4_K_XL | 5.79 | 532.9 | 2.2833 | 2.9913 | — |
| Unsloth IQ4_NL | 5.26 | 483.4 | 2.3289 | 3.0484 | — |
| Unsloth Q4_K_M | 5.52 | 507.8 | 2.3268 | 3.0510 |
