KV 캐시 양자화 벤치마크: KVarN 6비트는 q8_0과, 4비트는 q5_0과 대등함. 엄청난 성과!
KV cache quant benchmarks: KVarN 6-bit matches q8_0, 4-bit matches q5_0. Massive!
핵심 요약
KVarN KV 캐시 양자화 기술이 기존 대비 한 단계 높은 정밀도를 보여 VRAM 부족 문제 해결에 큰 도움이 될 전망입니다.
- 성능 향상 — KVarN은 기존 양자화 방식보다 한 비트 높은 정밀도를 제공함
- 메모리 효율 — 6비트 KVarN으로 q8_0 수준의 품질을 구현하여 VRAM 절약 가능
- 최적화 과제 — 현재는 프롬프트 처리 속도가 다소 느리지만 추가 개선 여지가 있음
- 벤치마크 결과 — 5비트, 6비트, 8비트 등 고사양 영역에서도 우수한 성능 유지
TL;DR 긴 문맥 KLD 벤치마크를 기반으로 볼 때, KVarN은 일반적인 llama.cpp KV 캐시 양자화보다 확실히 더 나은 성능을 보여줍니다. 모든 크기에서 KVarN은 기존 양자화 방식보다 한 비트 높은 정밀도와 일치합니다.
제 이전 게시물 댓글에서 많은 분이 타당한 질문을 해주셨습니다. 2비트나 3비트 같은 장난감 수준의 양자화에 집착하지 말고, 하이엔드급에 KVarN을 적용하면 어떨까 하는 내용이었죠. 그래서 최신 BeeLlama v0.3.2 Preview(간단히 말해 DFlash가 포함된 llama.cpp 포크)에서 바로 그렇게 해봤습니다. 그리고 이전에 수행했던 것과 동일한 벤치마크를 거의 모든 KV 캐시 양자화 쌍에 대해 실행하여 철저한 분석을 진행했습니다.
현재 v0.3.2 릴리스 바이너리는 CI/CD가 진행 중이라 구버전일 수 있으니, 소스에서 직접 빌드하세요!
초기 "자기 체급보다 한 단계 위를 때린다"는 원칙이 5비트, 6비트, 8비트 KVarN에서도 그대로 유지되는 것으로 보이며, 이는 솔직히 아주 좋은 소식입니다! 즉, 6비트 메모리 비용만 지불하고도 q8_0과 대등한 성능을 낼 수 있고, 6/5 조합을 사용하면 손실을 최소화하면서 5.5비트 수준으로도 가능합니다. 4비트나 비대칭 5/4비트 쌍에서도 좋은 품질을 보여줍니다. VRAM이 제한된 환경에서는 엄청난 성과죠!
프롬프트 처리 속도는 아직 느리지만, 이게 불가피하다고 단정 짓지는 않겠습니다. 구현이 매우 초기 단계라 추가 최적화가 가능할 것으로 보입니다.
Qwen 3.6 27B Q5_K_S + 64k 문맥에서의 KLD 결과입니다.
나머지 벤치마크 데이터와 심층 분석은 해당 기사에서 확인할 수 있습니다.
캐시 크기 평균 KLD 평균 정밀도 99.9% KLD 99.9% 정밀도 Tok/s
bf16 100.0% 0.000375 100.00% 0.023258 100.00% 850.81
kvarn8-kvarn8 52.9% 0.002361 99.80% 0.076809 94.79% 634.12
q8_0 53.1% 0.002328 99.80% 0.078709 94.61% 851.11
kvarn8-kvarn6 46.7% 0.002390 99.80% 0.082415 94.26% 643.46
kvarn8-kvarn5 43.6% 0.002266 99.81% 0.084573 94.05% 646.63
kvarn6-kvarn6 40.4% 0.002338 99.80% 0.078797 94.60% 689.31
q8_0-q5_1 45.3% 0.002529 99.78% 0.082880 94.21% 828.63
kvarn8-kvarn4 40.4% 0.002533 99.78% 0.086218 93.90% 645.67
q8_0-q4_0 40.6% 0.003316 99.71% 0.104680 92.18% 849.37
q6_0 40.6% 0.002614 99.78% 0.090800 93.47% 845.96
kvarn6-kvarn5 37.3% 0.002602 99.78% 0.079818 94.50% 692.77
kvarn8-kvarn3 37.3% 0.003529 99.69% 0.121564 90.64% 649.84
kvarn5-kvarn5 34.2% 0.002705 99.77% 0.083457 94.16% 699.80
kvarn6-kvarn4 34.2% 0.002831 99.75% 0.091507 93.40% 694.79
kvarn8-kvarn2 34.2% 0.009494 99.09% 0.325652 73.90% 651.45
q6_0-q5_0 37.5% 0.002820 99.76% 0.092682 93.29% 846.86
q5_1 37.5% 0.002911 99.75
