밸브 스팀 머신(8GB AMD GPU, 32GB RAM)에서 Qwen3.8-Flash-Next Gyro S 구동: 디코드 약 18 t/s, 프리필 약 235 t/s, 순정 SteamOS
Qwen3.8-Flash-Next Gyro S on a Valve Steam Machine (8 GB AMD GPU, 32 GB RAM): about 18 t/s decode, about 235 t/s prefill, stock SteamOS
핵심 요약
밸브 스팀 머신에서 Qwen 3.8 Flash Next를 구동하며 최적화 설정을 테스트한 결과, resident-budget-gib 조정으로 성능 향상을 확인했습니다.
- 성능 최적화 — resident-budget-gib=64 설정으로 디코드 속도 약 20% 향상됨
- 하드웨어 사양 — 8GB VRAM 및 32GB RAM 환경에서 128K 컨텍스트 구동 성공
- MTP 테스트 — 8GB VRAM 환경에서는 MTP 사용 시 성능 이득이 없음을 확인
- SteamOS 팁 — SSH 세션 종료 시 프로세스 유지를 위해 systemd-run 사용 권장
8GB VRAM이랑 32GB RAM으로 Qwen 3.8 Flash Next 돌리는 거 관련해서 올라온 게시글 후속 작업 좀 해봤다. 내 스팀 머신에서 얼마나 잘 돌아가는지 궁금했거든.
세팅
-
Valve Steam Machine, 순정 SteamOS 3.9.5, AMD Navi 33(8GB), 32GB RAM, NVMe
-
순정 Strata 터미널 0.2.9 (엔진 0.1.55, HIP 패키지), Gyro S TQ1_0
-
128K 컨텍스트, q4_0 KV, 비전 없음, MTP 끔, LAN으로 서비스
결과 (엔진 로그에 찍힌 Strata 자체 타이밍, 약 8K 토큰 프롬프트, 각 3회 실행)
| Config | Prefill t/s | Decode t/s |
|---|---|---|
Default (--tune skip) | 219-240 | 15.1-15.9 |
| Quick tuner | 237-239 | 14.5-17.2 (tuner said "already fastest") |
pcie-frac 0.35 | 239 | 14.8-16.0 |
kv-resident 20480 + vram-reserve-mib 900 | 227-229 | 14.8-15.5 |
resident-budget-gib 64 | 232-242 | 17.3-19.8 |
최종 설정인 128K 컨텍스트에서 58K, 61K 토큰 프롬프트 돌려보니까 프리필(prefill)은 234~236 t/s(각 4분 정도 걸림), 디코드(decode)는 17.6~17.9 t/s 나오더라. OOM(메모리 부족)은 안 떴고, 스왑은 0.2GB에서 0.3GB로 늘었으며 가용 RAM은 3.4GB 정도 남았음. 61K 토큰 이상으로 테스트하거나 데스크톱 세션 켜놓고 빡세게 돌려보진 않았다.
중요했던 점
-
--set resident-budget-gib=64이거 하나 바꾼 게 컸음. 디코드 성능 20% 정도 올랐다. 엔진이 전문가(experts) 모델을 자체 RAM 영역에 계속 붙잡아두게 만드는데, 이거 안 하면 OS 페이지 캐시로 넘어가 버림. 그래서 예전엔 RAM 모니터에 "사용 중"이 5GB 미만으로 떴는데, 실제로는 캐시가 28GB나 먹고 있었던 거임.
