r/LocalLLaMA•5개월 전•116•44
ubergarm/Kimi-K2.6-GGUF Q4_X 출시
ubergarm/Kimi-K2.6-GGUF Q4_X now available
핵심 요약
Kimi-K2.6 모델의 Q4_X 양자화 버전이 공개되어 로컬 환경에서 구동 가능해짐.
- 모델 공개 — Kimi-K2.6의 Q4_X 양자화 버전이 배포되어 로컬 환경에서 구동 가능해짐.
- 하드웨어 요구사항 — 원활한 구동을 위해 584GB 이상의 RAM과 VRAM이 필요함.
- 양자화 방식 — llm-compressor 설정을 활용해 bf16 기반으로 최적화된 양자화 과정을 거침.
- 향후 계획 — imatrix 적용 및 소형 양자화 버전과 비전 모델용 mmproj 파일이 추가될 예정임.
jukofyork과 AesSedai가 "풀 사이즈" Kimi-K2.6 "Q4_X"를 패치하고 양자화하는 팁을 알려줘서 정말 고마워. 584GB 이상의 RAM+VRAM이 있다면 ik와 메인라인 llama.cpp 모두에서 구동 가능해...
커스텀 양자화를 만드는 사람들을 위해 imatrix로 후속 작업을 할 예정이고, ik_llama.cpp에서 돌아가는 더 작은 양자화 버전도 곧 나올 거야. AesSedai도 곧 메인라인 MoE 최적화 레시피를 올릴 것 같아!
다들 고맙고, 이 거대한 모델이 GLM-5.1과 비교해서 어떤지 궁금하네.
