r/LocalLLaMA•4개월 전•165•70

Qwen 3.6 27B KV 캐시 양자화 벤치마크: 75개 조합, q8/q6/q5/q4, KVarN, Turbo/TCQ

Qwen 3.6 27B KV cache quant benchmarks: 75 pairs, q8/q6/q5/q4, KVarN, Turbo/TCQ

핵심 요약

Qwen 3.6 27B 모델을 대상으로 KVarN, TurboQuant 등 다양한 KV 캐시 양자화 방식의 정밀도를 KLD 지표로 비교 분석함.

KVarN의 우수성 — 기존 TurboQuant나 TCQ보다 높은 정밀도를 보여주며 상위 비트급 품질을 제공함
양자화 관행 비판 — V를 K보다 더 양자화하라는 기존 통념이 특정 조합(q8_0-q4_0)에서는 비효율적임이 드러남
BeeLlama.cpp 활용 — KVarN 및 최신 양자화 타입을 지원하는 커스텀 llama.cpp 포크를 통해 벤치마크 진행
TurboQuant의 한계 — 일반 양자화에도 회전 기법이 도입되면서 현재는 성능적 이점이 사라진 구식으로 평가됨

전체 벤치마크 결과와 심층 분석은 다음 기사에서 확인할 수 있습니다: 긴 컨텍스트를 위한 KV 캐시 양자화 벤치마크 및 KVarN KV 캐시: 구현 및 벤치마크.

추가 타입(v0.3.2 Preview 기준 KVarN, q6_0, TurboQuant, TCQ) 지원을 위해 BeeLlama.cpp (제 llama.cpp 포크)를 추론 엔진으로 사용했습니다.

원문

커뮤니티 목록

r/LocalLLaMA•4개월 전•165•70

Qwen 3.6 27B KV 캐시 양자화 벤치마크: 75개 조합, q8/q6/q5/q4, KVarN, Turbo/TCQ

Qwen 3.6 27B KV cache quant benchmarks: 75 pairs, q8/q6/q5/q4, KVarN, Turbo/TCQ

핵심 요약

Qwen 3.6 27B 모델을 대상으로 KVarN, TurboQuant 등 다양한 KV 캐시 양자화 방식의 정밀도를 KLD 지표로 비교 분석함.

KVarN의 우수성 — 기존 TurboQuant나 TCQ보다 높은 정밀도를 보여주며 상위 비트급 품질을 제공함
양자화 관행 비판 — V를 K보다 더 양자화하라는 기존 통념이 특정 조합(q8_0-q4_0)에서는 비효율적임이 드러남
BeeLlama.cpp 활용 — KVarN 및 최신 양자화 타입을 지원하는 커스텀 llama.cpp 포크를 통해 벤치마크 진행
TurboQuant의 한계 — 일반 양자화에도 회전 기법이 도입되면서 현재는 성능적 이점이 사라진 구식으로 평가됨

전체 벤치마크 결과와 심층 분석은 다음 기사에서 확인할 수 있습니다: 긴 컨텍스트를 위한 KV 캐시 양자화 벤치마크 및 KVarN KV 캐시: 구현 및 벤치마크.

추가 타입(v0.3.2 Preview 기준 KVarN, q6_0, TurboQuant, TCQ) 지원을 위해 BeeLlama.cpp (제 llama.cpp 포크)를 추론 엔진으로 사용했습니다.

주요 댓글

r/localllama

KVarN 양자화의 우수한 성능에 감탄하며, 기존 TurboQuant의 한계와 효율적인 KV 캐시 조합에 대해 심도 있는 기술적 논의가 이루어지고 있습니다.

TurboQuant가 이제 아무런 이득도 안 준다는 걸 드디어 시각적으로 확인한 건가요? 😄

TurboQuant는 일반 양자화에 회전(rotation) 구현을 가져다줬는데, 그 때문에 지금은 오히려 안 좋아 보이는 거죠. 하지만 요즘은 대안이 없어서 2/3비트 시나리오에서나 쓰이고, 3비트를 훨씬 잘 처리하는 KVarN을 쓴다면 얘기가 달라집니다.

하지만 'kvarn'은 새로운 유행일 뿐이고, 몇 달 동안 여기서 TurboQuant가 쩔어준다는 글만 읽었는데요.

그래서 제가 KLD를 통해 모든 걸 정밀하게 측정해 본 겁니다. '특정 벤치마크에서는 bf16급이다!' 같은 소리 말고, 지원도 안 되는 개소리인지 아니면 실제로 정밀도 이득이 있는지 쉽게 알 수 있게요. 거기서 KVarN은 TurboQuant나 TCQ와 달리 결과가 좋았습니다. llama.cpp도 결국 일반 양자화에 KVarN 같은 수학적 방식을 도입하게 되지 않을까요?

정확함

편리한 차트 감사합니다. 기존 llama.cpp PR(#7412)에 따른 통념은 "V가 덜 민감하니 K보다 더 양자화하라"는 거였죠. 하지만 벤치마크를 보면 기존 q8-q4 대 동일 크기 q6, 그리고 6-4 대 동일 크기 5-5 모두 후자가 평균 및 99.0% KLD가 항상 더 낮네요.

통념이 어느 정도 맞긴 하지만, q8_0-q4_0 조합은 제 벤치마크에서 완전히 부정됐습니다. 솔직히 이게 어떻게 애초에 관행이 됐는지 모르겠네요. 밸런스가 너무 안 맞아요. 제가 테스트한 모든 조합에서 비대칭성은 최대 1~2비트 차이까지만 유효했습니다. llama.cpp에서 사용 가능한 일반 양자화 중에서는 VRAM 대비 품질 면에서 q8_0-q5_1이 GOAT이고, 그 다음이 q5_0/1-q4_1과 대칭형 q5_0/1입니다 (q6_0은 비대칭 조합이 안 돼서요).

kvarn4 성능 지리네

모든 KVarN 시리즈가 다 좋다고 봅니다. 일반 양자화보다 한 단계 높은 비트급의 품질을 보여주거든요. 특히 KVarN 4는 컨텍스트를 극대화하는 데 아주 흥미로워 보입니다.

-5

KVarN 작업 정말 흥미롭네요! 시간 내서 공유해 주셔서 감사합니다!

kvarn 좋고 TurboQuant보다 낫긴 한데 주의하세요. llama.cpp의 TurboQuant는 제대로 구현되지 않았을 가능성이 큽니다. vLLM에서는 성능이 꽤 더 잘 나와요.

좋네, 이제 직접 KLD 측정 안 하던 사람들도 TQ3/4가 얼마나 쓰레기인지 드디어 볼 수 있겠구만.

지금 쓰레기처럼 보이는 건 일반적인 양자화 방식들도 회전(rotation)을 구현했기 때문이라는 점을 알아야 함. 그러니까 처음부터 나빴다기보다는 구식이 됐다는 게 더 정확함.

중요한 건 일반 양자화에도 회전이 구현되면서 지금 쓰레기처럼 보인다는 겁니다. 처음부터 나빴다기보다는 이제는 구식이 된 거죠.

네, 최신 v0.3.2 프리뷰 버전에서 AMD 지원이 추가됐습니다. 하지만! 완벽하게 지원되는지 아니면 버그가 있는지는 아직 잘 모르겠네요. 뭔가 제대로 안 돌아가면 제보 부탁드립니다.

원문r/LocalLLaMA