PSA: 아직 안 하셨다면 Flash Next를 DFlash2로 업그레이드하세요! 평균 17% 향상
PSA: Upgrade Flash Next to DFlash2 if you haven't! +17% on average
핵심 요약
Qwen3.8-Flash-Next용 DFlash2가 llama.cpp에서 지원됨에 따라, 더 작은 드래프터 모델로 성능 향상을 기대할 수 있습니다.
- DFlash2 성능 향상 — 코드 생성 등에서 평균 17%의 속도 개선을 보임
- 드래프터 모델 크기 — 기존 MTP 헤드 대비 훨씬 작은 용량으로 메모리 효율성 확보
- 하드웨어 최적화 — Apple Silicon 환경에서 n-max=5, p-min=0.75 설정 시 최적의 결과 도출
- 이미지 지원 — 이전 버전과 달리 DFlash2는 비전 기능이 포함된 모델에서도 정상 작동함
huggingface.co
원문 사이트로 이동
얼마 전 Qwen3.8-Flash-Next용 DFlash2가 나왔는데, 처음엔 llama.cpp 호환이 안 됐거든. 근데 이제 됨. 내가 직접 drafter GGUF 양자화해서 DFlash2 for FN을 처음으로 지원하는 llama.cpp v0.8.0에서 테스트해 봤다.
속도:
| MTP (acceptance) | DFlash2 (acceptance) | delta | |
|---|---|---|---|
| Q4_K_XL (code) | 80.5 tps (94%) | 95.1 tps (84%) | +18% |
| Q4_K_XL (list) | 91.4 tps (98%) | 127 tps (98%) | +39% |
| Q4_K_XL (prose) | 53.8 tps (78%) | 51.9 tps (64%) | -3% |
| Q4_K_XL (6k ctx) | 80.2 tps (97%) | 95.3% (90%) | +19% |
| Geometric mean | 75.1 tps | 87.9 tps | +17% |
Apple Silicon(M5 Max)에서 두 drafter의 최적 설정을 찾으려고 MTP랑 DFlash2 파라미터 싹 다 돌려보면서 테스트했음. 니들 설정은 다를 수 있겠지만, 나는 MTP는 n-max = 3, p-min = 0.75, DFlash2는 n-max = 5, p-min = 0.75로 맞췄다. 컨텍스트가 길어지면(25K) DFlash2가 MTP랑 거의 비슷해지는데, MTP는 성능이 거의 일정하게 유지되는 반면 DFlash2는 살짝 떨어지는 감이 있음.
Q4_0 draft head랑 Q8_0 비교해 봤는데, 속도나 수용률(acceptance) 면에서 차이가 거의 없더라. 그러니까 메모리 아끼려면 그냥 Q4_0 쓰는 거 추천함.
그나저나 DFlash2는 산문(prose) 빼고 모든 분야에서 훨씬 빠른 건 둘째치고, draft head 용량이 개작음! 내가 쓰던 Q4_0 ggml MTP head는 2.2GB였는데, Q4_0 head는 겨우 350MB 수준임. 근데 DFlash2는 연산 버퍼가 그만큼 더 필요해서 VRAM 절약 효과는 사실상 쌤쌤임.
마지막으로 3.8 27B용 DFlash2랑 다르게 이미지 인식도 잘 됨! 비전 기능 켜고 이미지 프롬프트 테스트해 봤는데, 아주 잘 돌아가고 수용률도 괜찮게 나옴.
결론적으로 DFlash2는 산문 빼고 모든 프롬프트 유형에서 디코딩 성능이 확실하게 업그레이드됨. 산문에서 성능 하락이 좀 있긴 한데, 무시해도 될 수준임.
