Qwen3.8-Flash-Next-GSQ-RCO (IQ3_S): 12GB VRAM + 32GB RAM + NVME 환경에서 131k 컨텍스트로 초당 40-50 토큰 디코드 및 1300-1500 토큰 프리필 달성
Qwen3.8-Flash-Next-GSQ-RCO (IQ3_S): ~40-50 tok/sec decode & 1300-1500 tok/sec prefill at 131k ctx on 12GB VRAM + 32GB RAM + NVME
핵심 요약
제한된 하드웨어 환경에서 고성능 로컬 AI 모델을 구동하는 최적화 레시피와 실험적 포크 버전을 공유함.
- 하드웨어 최적화 — 12GB VRAM과 32GB RAM 조합으로 131k 컨텍스트 구동함
- 성능 지표 — 초당 40-50 토큰 디코드 및 1300-1500 토큰 프리필 속도 기록함
- 실험적 포크 — Strata의 커스텀 포크를 사용하여 아키텍처 변경 및 성능 개선함
- SSD 활용 — NVME를 활용한 효율적인 메모리 관리로 로컬 AI 구동 장벽을 낮춤
12GB VRAM + 32GB RAM + NVME 조합으로 Qwen3.8-Flash-Next-GSQ-RCO-Abliterated를 IQ3_S로 돌리는 데 성공했다. 131k 컨텍스트(생각 예산 44k)에서 디코드 속도 40-50 tok/sec, 프리필 속도 1300-1500 tok/sec 찍히네. Strata 커스텀 포크 버전으로 돌린 결과임.
IQ3_S라고 보자마자 거르지 마라. 이거 ISTADASLab의 GSQ-RCO Qwen3.8-FN을 abliterated 버전으로 쓴 건데, BF16 성능의 99% 정도는 유지한다. 물론 양자화 방식 특성상 거친 부분은 좀 있지만, 내가 테스트해 본 일반적인 imatrix 양자화 모델들 중에서는 이 하드웨어 체급에서 이게 제일 낫다. (물론 더 높은 정밀도의 균일 양자화가 성능은 더 좋겠지만.) VRAM이랑 RAM 합쳐서 44GB 정도에 SSD까지 써서 이 정도 속도 뽑아내는 건 진짜 말도 안 되는 수준임.
이 포크 버전은 구조적으로 바뀐 게 엄청 많은데, 전부 다 실험적인 것들이라 좀 불안정하긴 하다. 그래도 성능이 다 커버침. 어떤 면에서는 로컬판 Opus 쓰는 느낌임.
모두를 위한 로컬 AI.
https://github.com/bodhi37/Qwen3.8-Flash-12GBRAM-32GBVRAM-SSD-Recipe
https://github.com/bodhi37/strata
