r/LocalLLaMA•6개월 전•201•95
Unsloth MiniMax M2.7 GGUF 양자화 모델 허깅페이스 업로드 완료
Unsloth MiniMax M2.7 quants just finished uploading to HF
핵심 요약
Unsloth에서 MiniMax M2.7 모델의 다양한 GGUF 양자화 버전을 허깅페이스에 공개했습니다.
- 모델 양자화 — Q1부터 BF16까지 다양한 비트 단위의 GGUF 모델이 허깅페이스에 업로드됨.
- 커뮤니티 활용 — 사용자들이 llama.cpp 환경에서 모델을 구동하며 추론 성능과 셋업 팁을 공유함.
- 기술적 주의사항 — CUDA 13.2 환경에서 특정 커널 오류로 인한 결과물 왜곡 현상이 보고됨.
- Claude 호환성 — Claude Code와 연동하여 추론 파싱 및 템플릿 수정 등 실사용 사례가 확인됨.
Q1부터 BF16까지 다양하게 준비했어.
아직 따끈따끈할 때 아래 링크에서 받아가.
https://huggingface.co/unsloth/MiniMax-M2.7-GGUF
u/danielhanchen 에게 감사를!
현재 목록은 다음과 같아:
|Bits|Quantization Label|Size|
|:-|:-|:-|
|1-bit|UD-IQ1_M|60.7 GB|
|2-bit|UD-IQ2_XXS|65.4 GB|
||UD-IQ2_M|70.1 GB|
||UD-Q2_K_XL|75.3 GB|
|3-bit|UD-IQ3_XXS|80.1 GB|
||UD-IQ3_S|83.6 GB|
||UD-Q3_K_S|93.6 GB|
||UD-Q3_K_M|101 GB|
||UD-Q3_K_XL|102 GB|
|4-bit|UD-IQ4_XS|108 GB|
||UD-IQ4_NL|111 GB|
||UD-Q4_K_S|131 GB|
||MXFP4_MOE|136 GB|
||UD-Q4_K_M|140 GB|
||UD-Q4_K_XL|141 GB|
|5-bit|UD-Q5_K_S|159 GB|
||UD-Q5_K_M|169 GB|
||UD-Q5_K_XL|169 GB|
|6-bit|UD-Q6_K|188 GB|
||UD-Q6_K_XL|207 GB|
|8-bit|Q8_0|243 GB|
||UD-Q8_K_XL|247 GB|
|16-bit|BF16|457 GB|
