r/LocalLLaMA•4개월 전•57•56

KV 캐시 양자화 벤치마크 결과: TurboQuant는 과대평가되었지만 TCQ는 쓸만함, q5는 더 주목받아야 하고 대칭형 q8은 VRAM 낭비일지도 모름

Here are my KV cache quantization benchmarks: TurboQuant is overrated but saved by TCQ, q5 deserves more attention, and symmetric q8 might be a waste of VRAM

핵심 요약

KV 캐시 양자화 벤치마크를 통해 TurboQuant의 한계와 TCQ의 유용성, 그리고 효율적인 양자화 전략을 분석함.

PPL과 KLD 비교 — PPL은 양자화 손실을 숨기지만 KLD는 꼬리 부분의 손실을 명확히 보여줌.
TurboQuant의 한계 — 4비트 환경에서 TurboQuant는 일반 q4_0 대비 성능 이점이 없고 오히려 느림.
TCQ의 효용성 — TCQ는 낮은 비트 환경에서 압축 효율을 높여주는 유효한 해결책임.
효율적인 양자화 전략 — K 캐시는 양자화에 민감하므로 K는 높게, V는 낮게 설정하는 것이 VRAM 절약에 효과적임.

한때 TurboQuant의 가장 열렬한 옹호자였던 사람이, 이제는 중간 정도의 틈새 지식을 갖춘 TurboQuant 옹호자가 되어 인사드립니다. 오늘은 제 RTX 3090을 사용하여 BeeLlama v0.1.2로 PPL 및 KLD 벤치마크 세계를 철저히 탐구한 결과를 발표합니다. 다른 테스트를 시도하다 실패한 배경 이야기와, 이를 보완하기 위해 PPL과 KLD를 더욱 철저히 재탐구한 내용도 포함되어 있습니다.

테스트는 64k 및 128k 컨텍스트에서 Qwen 3.6 27B(Q5_K_S 및 IQ4_XS) 모델로 진행되었습니다. 즉, 24GB VRAM을 사용하는 우리 같은 사람들이 실제로 사용하는 괜찮은 모델과 괜찮은 양자화, 괜찮은 컨텍스트 길이로 설정했습니다. vLLM 연구를 비판하려는 건 아니지만, 제게는 마치 '이미 100만 달러가 있는 사람이 어떻게 투자해서 부자가 되는지' 알려주는 책처럼 보였습니다. 일반적인 4비트 및 5비트 양자화가 비교에서 빠져 있었거든요.

제 발견은 다음과 같습니다:

PPL은 꼬리를 숨기지만, KLD는 드러냅니다. q4_0까지는 전체 PPL 범위가 bf16 대비 0.01 미만으로 유지됩니다. 심지어 turbo3_tcq조차 PPL을 약 0.02 정도만 추가합니다. 하지만 99.9% KL 발산(KL divergence)은 다른 이야기를 합니다. q5_0(bf16의 34.4%)은 분명 q8_0보다 뒤처지지만 여전히 나쁘지 않습니다. 하지만 q4_0의 꼬리 KLD는 q5_0보다 32% 더 나쁩니다. 바로 이것이 여러분의 툴 호출과 JSON 구조를 망가뜨리는 주범입니다.
회전이 4비트에서 격차를 줄였습니다. llama.cpp는 이미 양자화 전에 KV 벡터에 무작위 회전을 적용하는데, 이는 TurboQuant가 사용하는 기본 트릭과 같습니다. 4비트에서 turbo4는 q4_0 대비 품질 이점이 없고, 메모리 절약도 거의 안 되며, 17% 더 느립니다. TurboQuant의 가치는 대안이 없는 2-3비트에서 나옵니다.
TCQ가 저사양을 구원합니다. turbo3_tcq는 일반 turbo3보다 일관되게 훨씬 좋으며, turbo2_tcq는 turbo2보다 훨씬 좋습니다. 이들은 공격적인 압축이 필요한 경우에 유효한 해결책입니다. TCQ가 무엇인지 궁금하실 텐데, 다행히 기사 c

모든 데이터와 상세한 분석이 담긴 기사는 여기 있습니다:
https://anbeeld.com/articles/kv-cache-quantization-benchmarks-for-long-context

원문

커뮤니티 목록

r/LocalLLaMA•4개월 전•57•56

KV 캐시 양자화 벤치마크 결과: TurboQuant는 과대평가되었지만 TCQ는 쓸만함, q5는 더 주목받아야 하고 대칭형 q8은 VRAM 낭비일지도 모름

Here are my KV cache quantization benchmarks: TurboQuant is overrated but saved by TCQ, q5 deserves more attention, and symmetric q8 might be a waste of VRAM

핵심 요약

KV 캐시 양자화 벤치마크를 통해 TurboQuant의 한계와 TCQ의 유용성, 그리고 효율적인 양자화 전략을 분석함.

PPL과 KLD 비교 — PPL은 양자화 손실을 숨기지만 KLD는 꼬리 부분의 손실을 명확히 보여줌.
TurboQuant의 한계 — 4비트 환경에서 TurboQuant는 일반 q4_0 대비 성능 이점이 없고 오히려 느림.
TCQ의 효용성 — TCQ는 낮은 비트 환경에서 압축 효율을 높여주는 유효한 해결책임.
효율적인 양자화 전략 — K 캐시는 양자화에 민감하므로 K는 높게, V는 낮게 설정하는 것이 VRAM 절약에 효과적임.

제 발견은 다음과 같습니다:

PPL은 꼬리를 숨기지만, KLD는 드러냅니다. q4_0까지는 전체 PPL 범위가 bf16 대비 0.01 미만으로 유지됩니다. 심지어 turbo3_tcq조차 PPL을 약 0.02 정도만 추가합니다. 하지만 99.9% KL 발산(KL divergence)은 다른 이야기를 합니다. q5_0(bf16의 34.4%)은 분명 q8_0보다 뒤처지지만 여전히 나쁘지 않습니다. 하지만 q4_0의 꼬리 KLD는 q5_0보다 32% 더 나쁩니다. 바로 이것이 여러분의 툴 호출과 JSON 구조를 망가뜨리는 주범입니다.
회전이 4비트에서 격차를 줄였습니다. llama.cpp는 이미 양자화 전에 KV 벡터에 무작위 회전을 적용하는데, 이는 TurboQuant가 사용하는 기본 트릭과 같습니다. 4비트에서 turbo4는 q4_0 대비 품질 이점이 없고, 메모리 절약도 거의 안 되며, 17% 더 느립니다. TurboQuant의 가치는 대안이 없는 2-3비트에서 나옵니다.
TCQ가 저사양을 구원합니다. turbo3_tcq는 일반 turbo3보다 일관되게 훨씬 좋으며, turbo2_tcq는 turbo2보다 훨씬 좋습니다. 이들은 공격적인 압축이 필요한 경우에 유효한 해결책입니다. TCQ가 무엇인지 궁금하실 텐데, 다행히 기사 c

모든 데이터와 상세한 분석이 담긴 기사는 여기 있습니다:
https://anbeeld.com/articles/kv-cache-quantization-benchmarks-for-long-context

주요 댓글

r/localllama

데이터 측정 자체는 훌륭하지만, 글의 문체나 LLM스러운 가치 판단이 섞인 점에 대해 사용자들의 비판과 기술적 질의가 이어지고 있음.

GitHub 링크는 안 봤지만, 솔직히 말해서 이런 것들에 대한 LLM 생성 요약은 완전히 횡설수설임. 좋은 데이터가 있다면 Claude가 만든 노이즈보다 차트나 다이어그램이 훨씬 더 잘 설명해 줄 거임.

게다가 글이 덜 전문적으로 보임. "Ppl hides the tail, kld exposes it" 같은 문구는 굳이 굵게 표시할 필요가 없지. 거슬려.

문제는 본문에 근거도 없고 사실상 의미 없는 가치 판단이 너무 많다는 거야. 예: * TCQ saves the low end (low end가 누구임? 어떻게 구제됨?) * while q5_0 (at 34.4% of bf16) is obviously behind q8_0, it's still not bad (badness 기준이 뭔데? 모든 작업에서 누구한테나 쓸만하다는 거임, 아니면 아무도 못 쓴다는 거임?) * q8 is mostly a luxury tier, unless you have spare VRAM (어떤 작업에서? 어느 정도 시퀀스 길이에서?) * `Rotation

설명하자면, LLM이 생성한 가치 판단으로 가득 차 있어서 그래. 그리고 데이터를 잘 측정해놓고도 그 가치를 스스로 깎아먹고 있어. * 일부는 명백히 동어반복이라 통찰력이 없음 (예: weight quant와 kv quant를 맞바꿀 수 있다는 말) * 일부는 완전 헛소리임 (예: 'Rotation closed the gap at 4 bits'는 문법적으로는 맞지만 아무런 정보도 주지 않음). 작성자가 좋은 측정치를 가지고 있는 것 같은데...

게다가 전문성도 떨어져 보임. 'Ppl hides the tail, kld exposes it' 같은 문구는 굳이 굵게 표시할 필요도 없고, 그냥 거슬림.

오, 이제야 이해가 가네. 그래, 그 말에 동의함.

이 글의 핵심은 데이터 그 자체야. 데이터보다 요약본 가지고 꼬투리 잡는 데 더 관심 있다면 이 글은 너랑 안 맞는 거다. "근거 없다"고 한 판단들도 링크 열어서 읽어보면 바로 근거가 나오는데, "왜 차트 안 만들었냐" 같은 댓글이나 달고 앉았네.

맨 밑에 데이터 링크가 있어서 요약본부터 읽어보는 건데. 다른 댓글러들이 요약본이 데이터의 가치를 제대로 못 살리고 있다고 하잖아. 요약이 매력적이지 않으면 사람들이 링크 클릭도 안 해. 여기 댓글들은 다 요약본을 어떻게 개선할지 조언해 주는 것뿐이야.

악감정은 전혀 없어. 첫 댓글 말투가 너무 직설적이었던 건 사과할게. LLM이 쓴 요약본의 문제는 데이터에서 얻은 유용한 정보랑 그럴싸해 보이지만 의미 없는 텍스트를 섞어놨다는 거야. 의도한 건 아니겠지만, 독자 입장에선 네가 시간 들여 모은 생데이터랑 LLM의 hallucination을 일일이 걸러내야 하니까 데이터의 가치가 희석되는 느낌이야.

llama.cpp가 실제로 KV cache에 그걸 적용하나? 난 여전히 rotation이 attention layer에만 작동하는 줄 알았는데.

'회전이 4비트에서 격차를 줄였음. llama.cpp는 이미 양자화 전에 KV 벡터에 무작위 회전을 적용하는데, 이건 TurboQuant가 사용하는 기본 트릭과 같음. 4비트에서 turbo4는 q4_0 대비 품질 이점이 없고, 메모리 절약도 거의 안 되며, 17% 더 느림. TurboQuant의 가치는 대안이 없는 2-3비트에서 나옴.' 이거 그 PR 댓글에서 언급된 결론이랑 같은 거 아님?

IK도 Q6 캐시 지원하는데 :P. 이 계획의 큰 결함은 모델마다 결과가 다르다는 거야. Qwen에서는 맞을지 몰라도 다른 dense 모델이나 MoE에서는 다를 수 있어. 그래도 TurboQuant는 이제 그만 보내주자. 캐시 사이즈 3% 아끼려고 속도랑 KLD 손해 보는 건 좀 아니지.

원문r/LocalLLaMA