r/LocalLLaMA•4개월 전•64•36
KV 양자화 성능이 이 정도로 좋아졌다니 여전히 놀랍네
I'm still surprised on how good the kv quantization has become
핵심 요약
Qwen 모델의 100k 컨텍스트에서 Q4_0 KV 양자화 성능이 매우 뛰어나다는 점을 공유하며 검증하는 글입니다.
- KV 양자화 성능 — 100k 컨텍스트에서도 Q4_0 설정으로 정확한 정보 검색이 가능함
- 학습 데이터 검증 — 해리포터 같은 유명 도서 대신 최신 이탈리아어 도서로 모델의 성능을 입증함
- 모델 평가 방식 — 단순히 니들 인 어 헤이스택(needle in a haystack) 테스트를 넘어선 엄격한 검증이 필요함
- 기술적 한계 — KV 양자화가 정보 검색은 잘해도 툴 호출이나 장문 문맥에서 불안정할 수 있음
Q4_0에서 KV(드래프터조차 Q4_0 KV임)를 사용했는데도 100k 컨텍스트에서 정보를 정확하게 찾아내네.
편집: 많은 사람이 HP(해리포터)는 아마 학습 데이터일 거라고 지적해서 인용문을 남김: "2026년 책의 잘 알려지지 않은 지식"이고 내가 산 이탈리아어 책임.
