8GB VRAM과 32GB RAM으로 Qwen 3.8 Flash Next를 최대 900 t/s PP 및 30 t/s TG로 돌리는 방법

튜닝할 핵심 파라미터

• --mmap-experts - 메모리에 다 안 들어가는 전문가 모델들을 SSD에 올린다.

• --kv-resident 20480 - KV 캐시를 VRAM이랑 RAM에 나눠서 분산시킨다. 값을 낮게 잡으면 VRAM을 더 확보할 수 있다. 20480이 최솟값이다.

• --vram-reserve-mib 500 - 다른 작업들을 위해 VRAM을 좀 남겨둔다. 내 세팅에선 500이 돌아가는 최솟값인데, 웬만하면 900 쓰는 걸 추천한다.

• --pcie-frac 0.35 - GPU가 PCIe를 통해 읽어오는 레이어별 VRAM 미스 비율을 조절한다. 이 파라미터는 ./setup.sh --calibrate 명령어로 캘리브레이션하면서 튜닝할 수 있다. 내 세팅에 딱 맞는 값을 찾았는데, 프롬프트 처리 속도가 마음에 안 들면 직접 캘리브레이션 돌려봐라.

• STRATA_RESIDENT_HEADROOM_GIB=4 - 다른 작업들을 위해 RAM을 GiB 단위로 예약해둔다. 윈도우 쓰는 놈들은 이 값을 더 높게 잡아라.

내 세팅에서 성능 향상이 제일 컸던 건 --vram-reserve-mib랑 STRATA_RESIDENT_HEADROOM_GIB 조절했을 때였다.

나는 Gyro S 모델을 썼는데, 내 하드웨어에서 쓸 수 있는 양자화 모델 중엔 이게 제일 낫고 테스트한 모델들 중에서도 결과가 제일 좋았기 때문이다. 예전에 GSQ-RCO Coder나 GSQ-RCO IQ2_XS 같은 것도 써봤는데, 죄다 반복 루프에 빠지거나 영어 말고 다른 언어는 제대로 못 알아먹더라. Gyro S가 품질이랑 속도 사이에서 밸런스가 딱 좋다.

MTP는 안 쓴다. 쓰면 토큰 생성 속도(TG)는 좀 오를지 몰라도 VRAM을 처먹고 프롬프트 처리 속도(PP)가 떨어져서, 내 세팅에선 오히려 손해다. VRAM 10GB 이상 되는 놈들은 켜도 된다.

Vision은 CPU로 돌린다. 이미지 한 장 처리하는 데 1~2초 정도 걸리는데, 이러면 VRAM을 엄청나게 아낄 수 있다. Strata는 Vision을 별도 프로세스로 돌려서 스왑으로 넘길 수 있거든. 모델 성능엔 별 지장 없으면서 RAM은 더 확보할 수 있다.

로컬 모델로 병렬 에이전트 호출을 돌릴 때 중요한 제약 사항이 하나 있어. 컨텍스트 사이즈가 131K 토큰 이상일 때는 --parallel 옵션을 쓰면 안 돼. VRAM이랑 RAM을 엄청나게 잡아먹거든. 속도가 개판이 되거나 OOM(Out-of-Memory) 에러 터지기 딱 좋지. 대신 --conversation-cache를 쓰는 게 훨씬 안전해. 이건 세션 몇 개를 메모리에 박아두고 순차적으로 불러오는 방식인데, 완전한 병렬 처리는 아니지만 세션 바꿀 때마다 긴 컨텍스트를 다시 읽을 필요가 없어서 훨씬 낫지. 관련 파라미터는 아래와 같아:

• --conversation-cache-mib 4096 - 파킹된 세션 캐시 사이즈야. 이 값을 크게 잡을수록 세션 캐시가 날아가서 컨텍스트를 다시 읽어야 할 확률이 줄어들어.

• --conversation-cache-slots 2 - 파킹할 세션 슬롯 개수야. 2개로 설정하면 세션 2개를 동시에 메모리에 올려둘 수 있어.

• --conversation-cache-min-tokens 8000 - 토큰 수가 이 임계값 이하인 세션은 캐싱하지 마. 적절한 값은 네 PP 속도랑 그만큼의 토큰을 처리할 때 얼마나 기다릴 수 있느냐에 따라 달라져.

• --conversation-cache-min-free-mib 1024 - 캐싱할 때 최소한으로 남겨둘 RAM 용량이야. 새로운 항목을 캐싱했을 때 남은 RAM이 1,024 MiB 정도라면, OOM 위험을 줄이려고 기존 캐시를 날려버려.

이 파라미터들 직접 건드릴 땐 조심해. 설정 잘못하면 시스템이 불안정해지거나 모델이 스왑(swapping)을 미친 듯이 하게 될 거야. 시스템 전체 메모리 용량 넘기지 마라.

모든 테스트는 RAM 할당을 유연하게 조절할 수 있는 리눅스 환경에서 돌렸어. 윈도우 쓴다면 모델에 할당하는 메모리를 좀 줄여봐. 처리량은 확 떨어지겠지만, 메모리 부족으로 뻗을 확률은 낮아질 거야. 리눅스에서는 다른 앱들을 위해 32GB 스왑 파티션을 따로 만들었어. 그리고 서버 프로세스가 스왑되지 않게 아래 설정으로 systemd 서비스를 만들어서 메모리에 고정시켰지:

[Service]
MemorySwapMax=0

이렇게 하면 서버 메모리가 스왑되는 걸 막아서, 컨텍스트가 크거나 파킹된 세션 캐시를 쓸 때도 읽기/쓰기 성능을 일정하게 유지할 수 있어.

Chat 설정으로 돌렸을 때 결과는 이래:

• 262K 컨텍스트: PP 800-970 t/s, TG 30-40 t/s

• 131K 컨텍스트: PP 930-1,040 t/s, TG 30-45 t/s

Agentic 설정으로 돌렸을 때는:

• 262K 컨텍스트: PP 520-740 t/s, TG 30-40 t/s

• 131K 컨텍스트: PP 670-890 t/s, TG 30-45 t/s

내 생각엔 이 정도면 아주 훌륭한 결과야. llama.cpp에서 돌리는 Qwen 3.6 35B A3B랑 비교해도 말이지. Qwen 3.6 35B A3B는 VRAM 제한적인 전문가 레이아웃에 MTP/Vision 끄고 돌려도 PP 630-680 t/s, TG 27-35 t/s 정도 나오거든. 너희는 지금 시점에서도 에이전트 작업에 Qwen 3.6 35B A3B를 쓸 가치가 있다고 봐?

Strata는 응답 품질에 영향을 주는 게 아니라, 모델을 가용 자원에 분산시키고 자주 쓰는 전문가들을 메모리에 상주시키는 역할을 해. 이건 여러 최적화 중 하나일 뿐이야. 출력 품질은 모델 양자화(quantization)가 결정하는 거니까, VRAM 8GB 넘게 있다면 Gyro M/L이나 다른 양자화 버전도 시도해 봐.

내 설정값은 그냥 시작점일 뿐이니까 네 하드웨어나 작업 환경에 맞춰서 적당히 수정해서 써. 네 부품 조합이나 사용 사례는 나랑 다를 수 있으니까.

실사용 품질 테스트

이제 이 하드웨어에 모델을 어떻게 구겨 넣는지 알아봤으니, 출력 품질을 한번 보자고. 대표적인 테스트 몇 개를 가져왔어. 거창한 벤치마크나 표준 평가를 돌린 건 아니고, 지난 일주일 동안 실무적이고 일상적이며 빡센 작업들에 모델을 굴려봤어. 더 넓은 범위의 벤치마크는 커뮤니티 능력자들에게 맡길게.

Ornith 1.5 Heretic 기반의 내 현역 고성능 셋업인 Cyber-Tiel 35B A3B랑 비교해 볼게. Tiel 35B A3B는 자꾸 똑같은 말만 반복해서 Cyber-Tiel로 갈아탔거든. Flint 모델도 최근에 나왔지만 이번 비교에서는 뺐어. 내 기준으론 Qwen 3.6보다 한참 아래라, 나중에 둘이 따로 비교해서 이 글에 추가할지도 모르겠네.

테스트 1: Pagoda

이 테스트는 Pi Agent에서 LSP랑 Playwright MCP라는 최소한의 툴만 써서 돌렸어. Qwen Flash Next Gyro S는 reasoning_effort를 high로 설정했음.

.buffering-track-fill { stroke-dasharray: 100; stroke-dashoffset: 50; }

테스트 2: Flappy Bird 클론

조건은 이전 테스트랑 똑같아.

.buffering-track-fill { stroke-dasharray: 100; stroke-dashoffset: 50; }

테스트 3: Pelican

이번엔 모델 두 개만 비교한 게 아니라, Qwen Flash Next Gyro S의 reasoning_effort 설정값도 다르게 해서 비교해 봤어. 에이전트 환경은 똑같이 Pi Agent를 썼고.

테스트는 훨씬 더 많이 해봤는데, 보안 문제 때문에 다 공개할 수는 없어. 확실하게 말할 수 있는 건 내 코딩 에이전트 전부 이 모델로 교체했다는 거야. 덕분에 개발 속도도 빨라졌고 코드 퀄리티도 5배는 좋아졌어.

예시들 보면 알겠지만, VRAM 8GB 안에서 돌아가는 모델 중에서는 내가 테스트해 본 것들보다 결과가 훨씬 좋아. Qwen 3.8 Flash Next는 진짜 물건이고, Gyro S 양자화 덕분에 나 같은 사양에서도 로컬 코딩이랑 에이전트 작업이 가능해졌거든. 이 글을 쓴 목적은 아직도 Qwen 3.6 35B A3B나 그 파인튜닝 모델 쓰는 사람들한테, 내가 써보니까 이거보다 훨씬 뛰어난 모델이 나왔다는 걸 알려주려는 거야. 예시들이 충분히 증명이 됐으면 좋겠네.

다른 의견은 언제든 환영이니까 댓글로 맘껏 까줘. 설정 관련해서 더 좋은 팁이나 개선할 점 있으면 공유해 줘. 다른 사람들도 도움받을 수 있게 말이야.

난 여기까지 할게. 다들 좋은 툴 쓰고, 즐거운 코딩해!