DeepSeek-V4.1-Flash-1017 Dynamic v3.1 Unsloth GGUF 모델 출시
Introducing DeepSeek-V4.1-Flash-1017 Dynamic v3.1 Unsloth GGUFs
핵심 요약
Unsloth가 7개 벤치마크에서 정확도를 입증한 새로운 Dynamic V3.1 GGUF 모델을 공개했습니다.
- 성능 우위 — 기존 GSQ-RCO 대비 거의 모든 벤치마크 지표에서 더 높은 정확도 기록함
- 벤치마크 검증 — 16회 반복 테스트를 통해 데이터의 신뢰성과 재현성을 확보함
- 하드웨어 최적화 — 128GB RAM 및 engram offloading을 통한 64GB RAM 환경 지원
- 기능 확장 — Unsloth Desktop에 TTS, 브라우저 사용, 자동 압축 등 신규 기능 추가됨
다들 안녕! 이번에 DeepSeek-V4.1-1017 Dynamic V3.1 (preview) GGUF를 새로 내놨어. Unsloth의 GGUF가 7가지 벤치마크에서 크기 대비 가장 높은 정확도를 유지한다는 걸 제대로 보여주는 결과물이지.
우리가 ISTA의 GSQ-RCO GGUF를 직접 벤치마크해 봤는데, 걔네가 발표한 결과는 아무리 최고 점수를 끌어다 써도 재현이 안 되더라. 가장 차이가 컸던 건 AIME25인데, 걔네는 베이스라인 대비 100% 정확도 복구라고 주장했지만 실제 테스트해보니 91.88% 정도밖에 안 나왔어.
AIME25, LiveCodeBench, GPQA Diamond, Aider Polyglot 등 거의 모든 지표에서 Unsloth Dynamic V3.1이 GSQ-RCO GGUF를 압살하고 있어. 심지어 우리 구버전인 v3조차도 거의 모든 지표에서 ISTA보다 성능이 잘 나와.
공정하고 신뢰할 수 있는 비교를 위해 각 벤치마크를 최소 3번(AIME25는 16번)씩 돌려서 평균을 냈어. 다음 주에 더 많은 결과 들고 올게! 모든 벤치마크 데이터랑 방법론, 결과는 우리 블로그에 다 올려놨어.
참고로 KLD가 정확도를 측정하는 데 믿을 만한 지표냐는 질문들이 좀 있더라고. 양자화의 주 목적은 KLD를 최소화하면서 디스크 용량도 줄이는 거잖아. KLD가 0이 나온다는 건 로짓이 완벽하게 모델링돼서 양자화 모델이 16bit 모델이랑 똑같다는 뜻이지. 우리 벤치마크 결과 보면 코딩, 에이전트 코딩, 챗 등 여러 도메인에서 UDv3.1이 KLD랑 top-1% 지표 모두 GSQ-RCO보다 훨씬 뛰어나.
저비트 양자화 모델이 비양자화 모델보다 생각하는 시간이 좀 더 길어진다는 걸 확인했는데, 이건 우리가 더 조사해서 개선할 계획이야. 그래도 추론 속도 면에서도 여전히 GSQ-RCO보다 훨씬 앞서 있고, 블로그에 답변 잘린 거에 대한 그래프도 다 첨부해 뒀어.
이 모델은 128GB RAM/통합 메모리 기기에서 돌아가고, engram offloading 쓰면 64GB RAM에서도 돌릴 수 있어.
자세한 내용이랑 벤치마크 더 보려면 여기 블로그 확인해: https://unsloth.ai/docs/basics/dynamic-3.0-ggufshttps://unsloth.ai/docs/models/deepseek-v4.1-flash
그리고 Unsloth Desktop에 Browser Use, 자동 압축, 음성 복제랑 분리 기능이 포함된 완전히 새로운 TTS 파이프라인, 샌드박싱, 배경 커스터마이징 등등 엄청나게 많은 기능을 새로 넣었어:
