r/LocalLLaMA•3개월 전•25•39
개발자분들 - Mistral Medium 3.5 (128b dense) 써보신 분 계신가요? 의견 좀 부탁드립니다.
Devs - do you use Mistral Medium 3.5 (128b dense) and if so - thoughts?
핵심 요약
Mistral Medium 3.5 128b 모델을 코딩에 활용해 본 개발자들의 경험과 성능에 대한 의견 공유.
- 모델 성능 — 128b dense 모델의 코딩 능력과 추론 속도 평가
- 양자화 전략 — 3-bit 양자화 모델의 효율성과 VRAM 활용 방안 논의
- 하드웨어 제약 — 192GB VRAM 환경에서의 모델 구동 및 최적화 고민
- 모델 비교 — Qwen, Minimax 등 타 모델과의 성능 및 구동 편의성 비교
이 모델의 3비트 양자화 버전(Unsloth - Q3_KS)을 구했는데, 현재 제 사양에 가장 잘 맞네요. 보통 3비트 양자화는 피하는 편이지만, 워낙 거대한 dense 모델이라 한번 시도해 봤습니다.
최근 프로젝트에서 몇 시간 동안 테스트해 봤는데, 평소 쓰던 모델이 놓친 부분들을 몇 개 찾아내더군요. 정말 괜찮은 것 같습니다. MoE보다는 느리지만, 제 환경에서는 나쁘지 않네요 (8 tok/sec - KV 80k 기준 - quant K = q8_0, quant v = q5_0).
실제로 코딩에 사용해 보신 분들의 의견이 궁금합니다.
