r/LocalLLaMA•2개월 전•491•125논쟁
로컬 사용을 위한 Kimi K3 (1.56TB → 594GB) Unsloth가 압축 및 배포
Kimi K3 for local use (1.56TB → 594GB) compressed and released by Unsloth
핵심 요약
Unsloth가 Kimi K3 모델을 1비트까지 양자화하여 594GB로 압축 배포했습니다.
- 모델 양자화 — Kimi K3 모델을 8비트에서 1비트까지 압축함.
- 용량 최적화 — 1.56TB 모델을 594GB까지 줄여 로컬 구동 가능성을 높임.
- 성능 유지 — Q1 모델은 원본 대비 78.9%의 정확도를 유지함.
huggingface.co
원문 사이트로 이동
모델은 8, 4, 2, 1비트로 양자화되었습니다. 특징:
- Q8: 8비트 1.56 TB, 무손실
- Q4: 4비트, 1.51 TB
- Q2: 2비트: 861 GB
- Q1: 1비트, 594 GB
가장 작은 Q1 모델은 원본보다 거의 3배 작으면서도 78.9%의 정확도를 유지합니다. 모델 실행 지침은 모델 카드에 있습니다.
