r/LocalLLaMA•26일 전•11•10
Qwen3.8 Flash AP 양자화 모델
Qwen3.8 Flash AP Quants
핵심 요약
Qwen3.8 Flash 모델의 새로운 AP 양자화 버전을 공개하며, 벤치마킹을 통해 성능과 프리필 속도를 최적화했다고 밝힘.
- AP 양자화 — 고품질 벤치마크를 통해 기존 양자화 모델보다 뛰어난 성능을 달성함.
- KLD 측정 방식 — NGRAM 데이터 오염 문제를 해결하기 위해 새로운 데이터셋으로 측정 방식을 수정함.
- 프리필 성능 — 정밀도뿐만 아니라 프리필 속도까지 고려하여 최적화함.
- 모델 공개 — Hugging Face를 통해 GGUF 형식의 모델을 배포함.
다른 고퀄리티 양자화 모델들을 이겨버려서 좀 놀랐네. 여기까지 오려고 벤치마크 엄청 돌렸는데 결과가 잘 나와서 만족스럽다. 커뮤니티에 도움이 됐으면 좋겠어.
NGRAM이 위키피디아 내용을 죄다 외워버리는 바람에 방해가 돼서, 새로운 데이터셋으로 KLD를 측정하는 방식을 좀 수정해야 했어. 단순히 정밀도만 높이는 게 아니라 프리필(prefill) 성능까지 고려하려고 애썼다.
전체 모델 카드는 여기서 확인해: https://huggingface.co/agentionai/Qwen3.8-Flash-Next-AP-GGUF
문제 있으면 바로 알려줘.
