r/LocalLLaMA•5개월 전•126•35
Unsloth, Mistral Medium 3.5 구현 버그 수정
Unsloth solved bug in Mistral Medium 3.5 implementation
핵심 요약
Unsloth 팀이 Mistral과 협력하여 Mistral Medium 3.5의 YaRN 파싱 버그를 해결하고 업데이트된 GGUF를 배포함.
- 버그 해결 — YaRN 파싱 문제로 인한 추론 오류를 mscale_all_dim 값을 1에서 0으로 변경하여 수정함.
- GGUF 업데이트 — Mistral 팀과의 협업을 통해 transformers 및 llama.cpp 구현체 전반의 문제를 해결함.
- mmproj 수정 — 모델 파일 생성 과정에서 발생하던 mmproj 파일 오류를 함께 수정함.
- 사용자 반응 — 커뮤니티에서는 신속한 대응에 대해 긍정적인 반응을 보이며 모델 재테스트를 권장함.
https://unsloth.ai/docs/models/mistral-3.5
"2026년 5월 1일 업데이트: Mistral과 협력하여 일부 구현체에 영향을 미치던 Mistral Medium 3.5 추론 문제를 해결했으며, 수정 사항이 포함된 업데이트된 GGUF를 배포했습니다(Unsloth나 우리의 퀀트와는 관련 없음). 이 문제는 transformers와 llama.cpp를 포함한 여러 구현체에 영향을 주는 YaRN 파싱 특이점으로 인해 발생했습니다. mscale_all_dim 값을 1에서 0으로 변경하여 해결했습니다. 또한 mmproj 파일이 올바르게 생성되지 않던 문제도 수정했습니다."
