r/LocalLLaMA•약 4시간 전•19•20
DeepSeek V4.1 Flash 2.61 bpw + Engram: 듀얼 RTX 3090에서 dsx 엔진으로 26 t/s 달성
DeepSeek V4.1 Flash at 2.61 bpw + Engram: 26 t/s on dual RTX 3090s with dsx
핵심 요약
dsx 엔진을 활용해 듀얼 RTX 3090에서 DeepSeek V4.1 Flash 모델을 2.61 bpw로 구동하여 26 t/s의 속도를 구현했습니다.
- 모델 성능 — 2.61 bpw 양자화로 82.59%의 Top-1 정확도와 9.36의 Perplexity 달성
- 하드웨어 환경 — 듀얼 RTX 3090과 192GB DDR5 RAM을 사용하여 모델 구동
- 추론 속도 — 262k 컨텍스트에서 26 t/s 생성 속도 및 170 t/s 프롬프트 처리 속도 기록
- 데이터 로딩 — 187.6GB 가중치를 HDD에서 로드하여 RAM/VRAM으로 전송하는 방식 사용
u/lxe의 https://github.com/lxe/dsx 엔진을 써서 프로그래밍이랑 에이전트 작업용으로 DeepSeek-V4.1-Flash-1017-dsx-2.6bit를 만들어 봤다. 모델 가중치는 2시간 뒤에 전부 업로드될 예정임.
| Config | Experts | KL ↓ | Top-1 ↑ | Perplexity ↓ |
|---|---|---|---|---|
| FP8 / FP4 teacher | FP4 | 0 | 100% | 8.56 |
| Lucebox ROCMFP | 2.5 bpw | 0.253 | 78.7% | 9.78 |
| Author's 2.03 bpw build | 2.03 bpw | 0.462 | 71.5% | 11.66 |
| This model | 2.6127 bpw | 0.1972 | 82.59% | 9.3626 |
이 엔진 아직 이미지 지원은 안 되는 듯? HDD에서 187.6 GB짜리 가중치 불러오는 데 90~110분 걸리더라. SATA SSD에 Engram 테이블(203 GB) 올리고 컨텍스트 262,144로 돌려보니까 생성 속도 26 t/s, 프롬프트 처리 속도 170 t/s 나옴.
평소엔 https://github.com/DominikBucko/qwen38-flash-next-2x3090 쓰는데, 지금은 DeepSeek V4.1 Flash로 이것저것 실험 중이다.
내 하드웨어 사양: 2x RTX 3090, Intel Ultra 7 270k Plus, 192 GB DDR5@5600 MHz
