Lean-QwenFlash: NVMe SSD 오프로딩을 통해 16GB VRAM과 8GB RAM에서 초당 약 20토큰으로 구동되는 Qwen3.8-Flash-Next (125B)
Lean-QwenFlash: Qwen3.8-Flash-Next (125B) running at ~20 tok/s on 16gb vram and 8gb ram via direct nvme SSD offloading
핵심 요약
저사양 환경에서도 NVMe SSD 오프로딩을 활용해 대규모 MoE 모델인 Qwen3.8-Flash-Next를 효율적으로 구동하는 최적화 기법을 공개함.
- 효율적 오프로딩 — NVMe SSD를 활용해 제한된 RAM 환경에서도 대형 모델 구동 가능
- 성능 벤치마크 — RTX 4090 환경에서 262k 컨텍스트 기준 초당 20토큰 속도 달성
- 오픈소스 공개 — 설정 방법과 모델 다운로더 및 패킹 스크립트를 GitHub에 배포
- 하드웨어 최적화 — 기존의 RAM 의존 방식에서 벗어나 메모리 병목 현상 해결
다들 안녕,
요즘 Qwen3.8-Flash-Next 쓰는 애들(Strata 같은 거) 보면 24k 전문가 전부 시스템 RAM(~48–64 GB)에 때려 박고 CPU에서 캐시 미스 계산하게 하더라고. 고사양 워크스테이션에선 잘 돌아가겠지만, 일반 PC나 램 딸리는 노트북에선 어림도 없지.
몇 주 전에 보니까 https://github.com/sybil-solutions/glm-flash-lite 이 놈이 GLM-5.3을 돌리는데 모델 덩치에 비해 메모리를 존나 적게 먹는 거야. 그 속도에 그 정도 메모리 점유율은 처음 봐서, 설계 자체가 엄청 효율적인데 다들 이걸 모르고 지나치고 있구나 싶었지.
그래서 이걸 훨씬 가벼운 Qwen3.8 Flash Next 모델에 적용해 봤는데, 결과가 꽤나 지리더라.
벤치마크 (3.05bpw_h5_ng5, Q4 KV 캐시)
-
RTX 4090 (시스템 RAM 8 GB, VRAM 16 GB 할당 기준):
-
Short context (8k): 28–33 tok/s prose, 19–22 tok/s code | ~1,080 tok/s prefill
-
100k context: 20.8 tok/s decode | ~1,536 tok/s prefill
-
262k context (full window): 20.0 tok/s decode | ~1,627 tok/s prefill
-
-
RTX 3080 노트북 (VRAM 16 GB, RAM 32 GB):
- 100k 컨텍스트: ~18–21 tok/s 디코드 | ~650–700 tok/s 프리필 | 최대 VRAM 사용량: 15.5 GB
설정 방법, 모델 다운로더, 패킹 스크립트는 깃허브에 다 올려놨어:
https://github.com/MaxDevv/lean-qwenflash
ExLlamaV3 만들어준 turboderp, GLM 오프로드 구현 원조인 sybil-solutions, 그리고 Flash-Next 내놓은 Alibaba한테 큰 감사를 전한다.
