r/LocalLLaMA•약 3시간 전•66•19
오픈소스 방식(MACaQ), Unsloth GGUF를 능가하다!
Open-source method (MACaQ) beats Unsloth GGUFs!
핵심 요약
화웨이의 새로운 양자화 방식 MACaQ이 기존 Unsloth 및 Bartowski 대비 더 낮은 KL 발산 수치를 기록하며 성능 우위를 보였습니다.
- 성능 우위 — 기존 방식 대비 더 낮은 KL 발산 수치로 양자화 품질 향상됨
- 효율적 양자화 — 대규모 모델도 적은 GPU 메모리와 시간으로 양자화 가능함
- llama.cpp 지원 — 특정 포크 버전을 통해 양자화 및 추론 지원함
- 독립적 검증 필요 — 커뮤니티 차원의 벤치마크 및 결과 검증이 기대됨
GGUF랑 llama.cpp 쓰는 애들을 위한 결과 몇 개 가져왔다:
GGUF 퀄리티: MACaQ vs Unsloth vs Bartowski
Qwen3-4B (IQ4_XS)
| Quantization | GGUF size | Mean KL ↓ |
|---|---|---|
| MACaQ | 2.260 GB | 0.02804 |
| Bartowski | 2.271 GB | 0.03443 |
| Unsloth | 2.271 GB | 0.03663 |
파일 사이즈는 거의 똑같은데 Unsloth보다 KL divergence 23.5% 낮고, Bartowski보다는 18.6% 낮음.
Qwen3.6-35B-A3B (IQ4_XS)
| Quantization | GGUF size | Mean KL ↓ |
|---|---|---|
| MACaQ | 18.86 GB | 0.018696 |
| Unsloth (UD-IQ4_XS) | 17.73 GB | 0.020954 |
| Bartowski | 19.70 GB | 0.021927 |
Qwen3.8-27B (IQ4_XS)
| Quantization | GGUF size | Mean KL ↓ |
|---|---|---|
| MACaQ | 14.96 GB | 0.036784 |
| Bartowski | 15.48 GB | 0.104170 |
Bartowski보다 KL divergence 무려 65%나 낮음!
지원하는 GGUF 포맷 (llama.cpp)
| Weight bits | Formats |
|---|---|
| 2-bit | IQ2_XXS, |
