r/LocalLLaMA•5개월 전•46•60

KV 캐시도 양자화해서 쓰시나요?

Are you quanting your memory?

핵심 요약

LLM 구동 시 KV 캐시 양자화(BF16 vs Q8/Q4)가 모델 성능과 환각에 미치는 영향에 대한 사용자들의 경험 공유.

KV 캐시 양자화 — 모델 성능과 메모리 효율 사이의 균형을 맞추기 위해 KV 캐시를 양자화하는 방식에 대한 논의가 활발함.
환각 현상 우려 — 일부 사용자는 낮은 비트의 양자화가 툴 호출 실패나 환각을 유발할 수 있다고 보고함.
하드웨어 제약 — VRAM 용량이 부족한 경우 Q8이나 Q4 양자화를 통해 긴 컨텍스트를 확보하려는 시도가 많음.
벤치마크 부족 — KV 캐시 정밀도와 환각 발생률 간의 상관관계를 명확히 입증할 데이터가 아직 부족함.

제목 그대로임.

KV 캐시를 보통 어떻게 처리하는지 궁금함. BF16? Q8? Q4? 아니면 Turboquant나 다른 비법이라도 있음?

난 환각 줄이려고 BF16으로 다 돌림. 어차피 g4나 q3.6도 기본적으로 그렇게 학습됐으니까. 근데 다들 Q8이나 Q4로 돌려서 좋은 결과 얻고 있는지, 아니면 Turbo3/4 같은 걸로 재미 보고 있는지 궁금함.

원문

커뮤니티 목록

r/LocalLLaMA•5개월 전•46•60

KV 캐시도 양자화해서 쓰시나요?

Are you quanting your memory?

핵심 요약

LLM 구동 시 KV 캐시 양자화(BF16 vs Q8/Q4)가 모델 성능과 환각에 미치는 영향에 대한 사용자들의 경험 공유.

KV 캐시 양자화 — 모델 성능과 메모리 효율 사이의 균형을 맞추기 위해 KV 캐시를 양자화하는 방식에 대한 논의가 활발함.
환각 현상 우려 — 일부 사용자는 낮은 비트의 양자화가 툴 호출 실패나 환각을 유발할 수 있다고 보고함.
하드웨어 제약 — VRAM 용량이 부족한 경우 Q8이나 Q4 양자화를 통해 긴 컨텍스트를 확보하려는 시도가 많음.
벤치마크 부족 — KV 캐시 정밀도와 환각 발생률 간의 상관관계를 명확히 입증할 데이터가 아직 부족함.

제목 그대로임.

KV 캐시를 보통 어떻게 처리하는지 궁금함. BF16? Q8? Q4? 아니면 Turboquant나 다른 비법이라도 있음?

주요 댓글

r/localllama

KV 캐시 양자화는 하드웨어와 사용 목적에 따라 성능 차이가 크며, 특히 툴 콜 안정성을 위해 'Preserve Thinking' 옵션을 끄거나 BF16을 선호하는 등 사용자마다 다양한 최적화 전략을 공유하고 있음.

Qwen 3.6 27B UD-Q5_K_XL 모델에 Q8_0 KV 캐시 쓰니까 70k 컨텍스트쯤에서 툴 콜 에러나 환각 현상 생기더라. bf16으로 바꾸니까 모델이 멍청해질 걱정 안 해도 돼서 좋음. q5 가중치 에러가 q8_0 kv랑 섞여서 토큰 수만 개 단위로 쌓이는 거 별로 안 좋아함. bf16 쓰면 툴 콜 거의 안 틀림.

난 q8에 q5km auto round 쓰는데 90k 컨텍스트까지 툴 콜 에러 한 번도 없었음.

하드웨어 성능도 영향 받음.

Preserve Thinking 옵션 꺼봐. 그거 툴 콜 망가뜨리는 걸로 유명함. 난 그거 끄고 나서 툴 콜 실패 거의 안 함. UD_Q4_K_XL에 100k 컨텍스트, Q8 로테이션 써서 거의 문제 없음.

하드웨어 뭐 씀?

7900xtx. Vulkan이랑 ROCm 백엔드 둘 다 테스트해봄.

KV 캐시 양자화는 모델, 컨텍스트 길이, 하드웨어, 그리고 속도/메모리/품질 중 뭘 우선하느냐에 따라 답이 다 달라지는 듯.

Q8에 Hadamard 로테이션 쓰면 됨(로테이션 없으면 BF16 필수). Qwen3.6 27B UD_Q4_K_XL로 100k 넘어가면 사소한 문제 좀 있음.

문제라는 게 툴 콜이 꼬이는 거야 아니면 그냥 전반적으로 멍청해지는 거야?

난 컨텍스트 길이에 맞춰서 타협함. 128k 필요할 때 BF16 들어가면 쓰고, 안 되면 Q8_0 테스트해보고 괜찮으면 그냥 씀.

KV 정밀도에 따른 환각 비율 벤치마크한 사람 없나? 데이터가 없는 듯.

Ooba가 KLD 테스트한 거 있는데 Qwen 27B는 긴 문서 작업 빼고는 거의 영향 없더라. https://localbench.substack.com/p/kv-cache-quantization-benchmark 에이전트가 80k 컨텍스트 쌓으면서 작업할 때랑 긴 문서 작업이랑 얼마나 비슷할지 궁금하긴 함.

원문r/LocalLLaMA