r/LocalLLaMA•약 4시간 전•187•106

KQuant - 새로운 양자화 기술, Qwen Flash Next 180B, 27B, 35B, 9B 모델에서 3.7배 더 나은 양자화 성능 (KL 발산 감소 기준) (MLX)

KQuant - new quantization technique, 3.7× better quants for Qwen Flash Next 180B, Qwen 27B, 35B, 9B (measured in KL-divergence reduction) (MLX)

핵심 요약

애플 실리콘 환경에서 기존 4비트 양자화보다 성능과 속도를 개선한 새로운 양자화 기술 'KQuant'가 공개되었습니다.

KQuant 기술 — 기존 4비트 양자화 대비 KL 발산을 줄여 모델 정확도와 크기 효율을 최적화함
성능 향상 — Qwen 모델군에서 1.5배에서 최대 3.7배까지 더 나은 양자화 품질을 제공함
속도 최적화 — Kapitsa 엔진과 결합하여 기존 4비트 양자화 대비 6~15% 빠른 추론 속도를 구현함
오픈 소스 — MLX 형식으로 허깅페이스에 공개되었으며 GGUF 버전도 곧 출시 예정임

안녕 형들, 난 Nace(Artificial analysis decision index 2.1에서 1위 찍은 오픈소스 결정 모델인 Drex 만든 곳)에서 ML 엔지니어로 일하는 Alish라고 해. 최근에 CTO가 Qwen4 양자화 최적화 좀 해보라고 시키길래, 바로 UoT 교수님한테 전화 때리고 Fable 5.2 돌려서 제대로 조져봤어. 일단 mlx부터 시작했고(GGUF는 내일 나옴). Qwen 모델군 양자화에서 정확도랑 용량 사이의 파레토 최적을 뽑아냈다고 보면 돼.

왜 이걸 만들었냐고?

우리가 맥에서 35b/27b 모델 제일 빠르게 돌리는 방법(Kapitsa)을 오픈소스로 풀었는데, 기존 양자화 방식들이 너무 멍청해서 짜증이 나더라고. 그래서 우리가 직접 KQuant를 만들었어. 4B, 27B, 35B, Flash-Next용 Qwen 팩을 Hugging Face에 표준 MLX 파일로 싹 다 무료로 올렸어.

맥 쓰는 사람들은 보통 16GB나 32GB 램에 맞추려고 4비트 팩을 쓰잖아. 근데 그냥 대충 4비트로 양자화하면 모델 성능 손실이 너무 커. 우리는 그 손실을 줄이고 싶어서 Fable 5.2랑 Astra한테 서브 에이전트 128개 붙여서 빡세게 돌려봤어. 결과는 아래와 같아.