capy-flash v0.7.1: Qwen3.8-Flash-Next(125B MoE) 64GB RAM에서 구동 가능(듀얼 16GB 카드에서 234 tok/s), Qwen3.8-27B 3비트 모델은 단일 16GB 카드에서 구동(174 tok/s)
capy-flash v0.7.1: Qwen3.8-Flash-Next (125B MoE) now runs in 64 GB of RAM (234 tok/s on two 16 GB cards), and Qwen3.8-27B 3-bit fits on a single 16 GB card (174 tok/s)
핵심 요약
capy-flash v0.7.1 업데이트로 더 적은 VRAM과 RAM 환경에서도 고성능 모델을 효율적으로 구동할 수 있게 되었습니다.
- 메모리 최적화 — 64GB RAM 및 단일/듀얼 GPU 환경에서 Flash-Next 구동 지원
- 하드웨어 호환성 — AVX2 CPU 지원 및 Windows/WSL2 메모리 제한 문제 해결
- 성능 향상 — 듀얼 GPU 환경에서 텐서 병렬 처리 및 VRAM 캐시 공유로 속도 극대화
- 모델 지원 — Qwen3.8-27B 3비트 모델을 단일 16GB GPU에서 구동 가능
RTX 50 시리즈 소비자용 그래픽카드에서 Qwen3.8-Flash-Next(125B MoE)랑 Qwen3.8-27B를 돌릴 수 있는 오픈소스 추론 엔진 capy-flash를 만들고 있다. 지금까지는 내 환경(16GB 카드 2장, 램 96GB)이나 그 이상의 사양이 필요했는데, 이번 v0.7은 저사양 머신을 위한 거다. 일단 있는 걸로 시작하고 나중에 카드 하나 더 꽂아도 엔진이랑 모델 파일은 그대로 쓸 수 있다.
새로운 기능
-
램 64GB, GPU 1~2개에서 Flash-Next 구동 가능. 라우팅된 전문가 모델은 ISTA-DASLab의 GSQ-RCO i-quant(~3비트, 재양자화 없이 그대로 사용)를 쓴다. NVFP4 쓸 때 65GB 필요하던 게 램 48GiB로 줄었다. 자주 쓰는 전문가 모델은 VRAM에 올리고 나머지는 CPU로 돌린다. 피크 램 사용량은 약 57GB.
-
16GB 카드 한 장으로 Qwen3.8-27B 구동. 3비트 GSQ 가중치(ISTA-DASLab) 사용, 64k 컨텍스트, 비전, MTP 지원. VRAM은 13.9GB 먹는다.
-
AVX2 CPU(Zen 2/3, 인텔 일반용) 지원. 이제 윈도우/WSL2의 페이지 고정 메모리 제한 때문에 서버가 안 켜지는 일은 없다.
-
응답이 비어있는 경우(모델이 추론 도중에 멈추는 현상) 방지 기능 기본 적용.
속도 (LocalMaxxing reasoning-v1, 요청 1개, MTP, 검증 완료; RTX 5070 Ti 16GB, Ryzen 9 9900X)
| 1× 16 GB GPU | 2× 16 GB GPUs |
|---|---|
| Qwen3.8-Flash-Next, 3-bit experts | 121 tok/s |
| Qwen3.8-27B, 3-bit | 174 tok/s |
GPU 하나 쓸까 두 개 쓸까? 16GB 카드 한 장만 있다면 지금 당장은 Flash-Next 돌리기엔 Strata가 더 나을 거다. capy-flash는 GPU 두 장 꽂아서 텐서 병렬 처리랑 VRAM 전문가 캐시를 공유할 때 진가가 나온다.
품질:
- 27B 모델에서 3비트는 좀 손해가 있다. GSM8K는 NVFP4 모델이랑 비슷한데, MMLU-Pro는 0.78에서 0.72 정도로 떨어진다. 카드 두 장 있다면 NVFP4 27B가 여전히 더 낫다. Flash-Next의 3비트 전문가 모델은 둘 다 NVFP4랑 비슷하다.
사용법
curl -fsSL https://raw.githubusercontent.com/ValerioDolci/capy-flash/main/install.sh | bash -s -- --check
curl -fsSL | bash -s -- --model flash-next-64gb
