새로운 Qwen3.8-27B Unsloth Dynamic V3.1 GGUF 출시
New Qwen3.8-27B Unsloth Dynamic V3.1 GGUFs
핵심 요약
Unsloth가 Qwen3.8-27B 모델을 위한 향상된 Dynamic V3.1 GGUF 양자화 버전을 공개했습니다.
- 성능 향상 — DeepSWE 및 Terminal Bench 등에서 기존 대비 5~10% 정확도 개선됨
- 양자화 업데이트 — 2비트에서 6비트까지 업데이트되었으며 3비트는 기존 버전 유지
- 벤치마크 검증 — LiveCodeBench 등 다양한 환경에서 다회차 테스트를 통해 정확도 검증함
- 기술적 논쟁 — Exllama-v3와의 비교에서 임베딩 레이어 처리 방식에 따른 RAM 사용량 차이 설명
안녕 r/LocalLLaMA! 이번에 Qwen3.8-27B를 위한 새로운 Unsloth Dynamic v3.1 GGUF를 공개한다! DeepSWE, Terminal Bench 등에서 UD3, GSQ-RCO, Exllama-3 대비 정확도가 5~10% 더 높다! Qwen4에도 적용할 수 있게 알고리즘을 계속 개선 중이니까 다들 효율적이고 정확한 양자화 모델 기대해도 좋다!
-
2비트부터 6비트까지 모든 양자화 모델을 업데이트했다. 3비트 모델은 UD3랑 UD3.1이랑 성능이 비슷해서 그대로 뒀다. 나머지는 계속 개선 중이다!
-
벤치마크는 에이전트 관련(DeepSWE, Terminal Bench)은 256K, 나머지는(LiveCodeBench 등) 128K로 돌렸다. 설정은 temperature 1.0, top_p 0.95, top_k 20, min_p 0, presence/repetition penalty 없음, preserve_thinking 및 xhigh reasoning을 사용했다.
-
벤치마크는 여러 번 돌렸는데, LiveCodeBench는 6번, HMMT 등은 8~16번, 에이전트 벤치마크도 여러 번 반복했다.
GSQ-RCO랑 Exllama3 같은 다른 벤치마크 관련해서는:
-
GSQ-RCO랑 Exllama-v3를 비교할 때, Exllama-v3는 토큰 임베딩 레이어에 BF16을 써서 이걸 x축에서 제외해야 했다.
-
Exllama-v3의 전체 다운로드 크기랑 총 RAM 사용량을 고려해서 BF16 임베딩 테이블이랑 모든 임베딩 크기를 포함하면 그래프가 달라진다. 우리 메인 그래프 x축은 모든 양자화 제공자의 임베딩 레이어 크기를 뺐다. 하지만 순수 RAM 사용량 및 디스크 공간 대비 정확도를 따지면 exllama3가 더 떨어진다.
-
LiveCodeBench에서 GSQ-RCO는 Unsloth UD3 양자화 모델이 ISTA보다 계속 떨어진다고 주장했다. 하지만 우리가 확인해보니 정반대였다. UD3(우리 구형 모델)가 가장 작은 사이즈를 제외한 모든 구간에서 LCB 성능이 ISTA보다 더 잘 나왔다. UD3.1은 LCB에서 성능이 더 좋아졌고. 우리가 보기에 GSQ-RCO는 컨텍스트 버짓을 96K로 쓴 것 같은데, 96K에서는 GSQ-RCO가 UD3보다 조금 낫지만 128K로 가면 UD3가 훨씬 압도한다.
-
다른 벤치마크인 ISTA GSQ-RCO의 AIME25 벤치마크를 보면, 걔네는 정확도 복구율이 100%, 100%, 100%, 96.7%가 나왔다고 주장하면서 우리 모델이 더 떨어진다고 했다. 우리가 조사해보니 ISTA는 딱 1번만 돌린 것 같다. 우리는 14번 돌렸는데 평균 복구율이 93~96% 수준이지 100%가 아니다. 사실 1번 돌린 걔네 결과보다 14번 돌린 우리 UD3 구형 모델이 평균적으로 더 잘 나오니까, 제대로 여러 번 돌려보면 결론은 정반대로 나온다.
더 자세한 내용이랑 벤치마크는 https://unsloth.ai/docs/models/qwen3.8#dynamic-v3.1-update-november-11th-2026 여기서 확인해라.
