RTX 3090 한 장으로 초당 41토큰 속도의 DeepSeek-V4.1-Flash-1017 구동
DeepSeek-V4.1-Flash-1017 at 41 tok/s on one 3090
핵심 요약
192GB RAM을 활용해 RTX 3090 한 장에서 DeepSeek-V4.1-Flash-1017 Q2 모델을 효율적으로 구동하는 엔진을 공개함.
- 하드웨어 요구사항 — RTX 3090 24GB와 128GB 이상의 RAM, 고속 NVMe SSD가 필수적임.
- 성능 지표 — Q2 양자화 모델 사용 시 초당 41토큰 속도와 API 대비 90% 이상의 정확도를 보임.
- 사용 편의성 — 배치 파일 실행만으로 엔진 설치와 모델 다운로드 및 구동이 가능함.
- 오픈소스 엔진 — Xolotl 기반의 윈도우용 추론 엔진으로 MIT 라이선스를 따름.
github.com
원문 사이트로 이동
아니, 이거 뇌 빼놓은 1비트 압축 같은 거 아니다. 3090 한 장에서 WSL 없이 윈도우 네이티브로 돌리는, nazeshinjite의 DeepSeek-V4.1-Flash-1017 Q2 GGUF 풀 버전이다.
RTX 3090에 192GB 램 박아놓고 돌리니까 41 tok/s(여러 프롬프트 평균) 나오더라. 출력 결과도 DeepSeek API랑 비교했을 때 일반 텍스트는 90.2%, 코드/수학은 92.4% 확률로 다음 토큰을 똑같이 맞춤. 사실상 거의 똑같다고 보면 된다. 1M 컨텍스트도 다 들어감.
내 허접한 인터페이스 엔진은 1017 버전에서 제일 많이 다운로드된 양자화 모델 3개를 그대로 돌린다:
nazeshinjite's ds4 Q2 GGUF (기본값)
ISTA-DASLab's GSQ-RCO (IQ2_XS / IQ2_XXS /IQ1_M)
Unsloth's (UD-IQ1_S to UD-Q8_K_XL).
저장소: https://github.com/musicurgy/delta-inference-engine
하드웨어/모델:
RTX 3090 24 GB, i5-13600K, 192 GB DDR5 (4x48 GB, 5600MHz), PCIe 4.0 NVMe. 윈도우 10/11, WSL 안 씀.
| Quant | Download size | 192 GB RAM | 128 GB RAM | Top-1 vs API (general text, exact routing) |
|---|---|---|---|---|
| ds4 Q2 (default) | 366 GB | 41 tok/s | 33 tok/s | 91.5% |
| GSQ IQ2_XS | 159 GB + the default | 38 tok/s | 26 tok/s | 90.0% |
| GSQ IQ2_XXS | 142 GB + the default | 41 tok/s | 32 tok/s | 87.8% |
| GSQ IQ1_M | 125 GB + the default | 42 tok/s | 37.5 tok/s | 85.5% |
| Unsloth UD-IQ1_S |
