새로운 Qwen3.8-Flash-Next Unsloth Dynamic V3.1 GGUF 출시
New Qwen3.8-Flash-Next Unsloth Dynamic V3.1 GGUFs
핵심 요약
Unsloth가 Qwen3.8-Flash-Next를 위한 Dynamic V3.1 GGUF를 출시하여 벤치마크 성능을 10-15% 향상했습니다.
- 성능 향상 — DeepSWE 및 Aider 등 주요 벤치마크에서 10-15% 정확도 개선
- 엔그램 스위칭 — BF16, Q8_0, Q5_1, IQ4_NL 간의 새로운 전환 프로세스 도입
- 대규모 벤치마크 — 262억 개의 토큰을 활용한 철저한 검증 수행
- 업데이트 계획 — 현재 소형 퀀트 모델 위주로 업데이트되었으며 대형 모델도 예정됨
안녕 r/LocalLLaMA 형들! Qwen3.8-Flash-Next용 새로운 Unsloth Dynamic v3.1 GGUF를 배포한다! DeepSWE, Terminal Bench, Aider Polyglot 같은 벤치마크에서 GSQ-RCO 대비 정확도가 10~15% 더 좋아졌어.
그리고 모든 양자화 모델에 대해 BF16, Q8_0, Q5_1, IQ4_NL 간 전환이 가능한 새로운 engram switching 프로세스도 추가했어. 이건 기존 대비 정확도를 10~20% 끌어올렸던 우리 DeepSeek-V4.1-Flash UD3.1 작업의 연장선이야.
-
모든 벤치마크는 에이전트 관련은 256K, 나머지는 128K로 돌렸어. 설정은 temperature 1.0, top_p 0.95, top_k 20, min_p 0, presence/repetition penalty는 없음. preserve_thinking이랑 xhigh reasoning을 유지했고, 벤치마크에만 26B 토큰 넘게 썼다.
-
벤치마크가 워낙 노이즈가 심해서 26.2B 토큰 분량으로 벤치마크를 돌렸어. DeepSWE에만 18.1B 토큰을 썼고, Terminal Bench가 5.2B 토큰으로 그 뒤를 이었지.
-
LiveCodeBench는 3번, HMMT 같은 건 8~16번, 에이전트 벤치마크도 여러 번 반복해서 돌렸어.
engram switching 프로세스에 대한 설명은 https://unsloth.ai/docs/models/qwen3.8-next#mix-n-match-engrams에 있고, 각 정밀도와 RMSE(오차)에 대한 세부 정보는 아래와 같아:
| file | type | size | relative RMSE vs BF16 |
|---|---|---|---|
Qwen3.8-Flash-Next-engram-BF16.gguf_file | BF16 | 102.4 GB | 0 |
Qwen3.8-Flash-Next-engram-Q8_0.gguf_file | Q8_0 | 54.4 GB | 0.0053 |
Qwen3.8-Flash-Next-engram-Q5_1.gguf_file | Q5_1 | 38.4 GB | 0.0376 |
