[가이드] RTX 5080 + 64GB RAM 환경에서 Qwen3.8 Flash-Next 구동: 실제 코딩 세션에서 250 tok/s 이상 달성
[GUIDE] Qwen3.8 Flash-Next on a single RTX 5080 + 64GB RAM: >250 tok/s tg and 5700 tok/s prefill in real agent coding sessions (Basalt + new Unsloth UD-IQ3_XXS + Lamina drafter),+ how it compares to llama.cpp
핵심 요약
RTX 5080 환경에서 Basalt 엔진과 최적화된 양자화 모델을 사용하여 llama.cpp 대비 압도적인 추론 속도를 구현하는 가이드를 공유합니다.
- 성능 최적화 — Basalt 엔진과 Lamina drafter를 활용해 llama.cpp 대비 최대 5배 빠른 디코드 속도 달성
- 모델 정확도 — Unsloth의 UD-IQ3_XXS 양자화로 BF16 수준의 정확도와 빠른 속도를 동시에 확보
- 하드웨어 가이드 — RTX 5080과 64GB RAM 환경에서 200K 이상의 컨텍스트를 효율적으로 처리하는 설정 제공
- 엔진 개선 — 호스트 KV 캐시 프리페치 및 메모리 관리 최적화를 통해 지연 시간 대폭 감소
TL;DR
-
Basalt가 엔진인데, 얘가 진짜 하드캐리함. 똑같은 모델 파일, 똑같은 환경 기준으로 drafting 안 썼을 때 llama.cpp 대비 디코딩 3.5배, 썼을 때는 5배, 프롬프트 읽기 속도는 7배 정도 더 빠름.
-
Unsloth의 새로운 UD-IQ3_XXS(Dynamic v3.1, 11월 4일 업로드)는 16GB 카드 쓰는 애들이 다들 쓰는 GSQ-RCO IQ3_S랑 크기는 똑같은데, 정확도는 훨씬 높음. wikitext perplexity가 3.382에서 3.247로 줄어서 사실상 BF16(3.273) 수준까지 따라잡음. 디코딩 속도는 1~3.5% 정도만 손해 보면 됨.
-
Lamina(eddoursul이 MTP drafter를 추가 학습시킨 거)는 기본 Basalt drafter보다 draft 채택률이 더 높음. 소소하지만 확실한 속도 향상이 있고, 메인 모델이 토큰 하나하나 다 검증하니까 품질 저하는 제로임.
-
실제 에이전트 코딩 세션(opencode, 151개 요청, 최대 202K 컨텍스트): 평균 디코딩 195.6 tok/s, 최고 263 tok/s, 최저 156 tok/s, 프롬프트 읽기 약 5,700 tok/s.
하드웨어:
-
RTX 5080 16GB (순정 360W 제한, 오버클럭/언더볼팅 없음)
-
Core Ultra 9 285K (8P + 16E), 2x32GB DDR5-7200
-
PCIe 5.0 x16, Fedora
LAMINA Drafting: Basalt는 모델 자체의 MTP 레이어로 draft를 뜸. Basalt 업스트림에는 이미 그 레이어의 self-distilled 버전이 들어있는데, Lamina는 그걸 더 빡세게 학습시킨 거임. 그냥 갈아 끼우면 끝임. 텐서 레이아웃이 똑같아서 타겟 모델은 바이트 단위로 완전히 동일하고 drafter만 바뀜. 내가 확인한 결과:
- draft 토큰당 채택률: 실제 기록된 세션 리플레이 기준 83.1% -> 85.8%
Lamina README에서는 temp 0.7에 최대 3 draft를 추천함. 둘 다 테스트해 봤는데, 3 draft 제한은 툴 호출이 많은 작업에서 1~1.8% 정도 느렸음(확신을 가지고 길게 뽑을 때 중간에 끊겨서). 그리고 temp 0.7은 모델이 출력하는 내용을 바꿔버려서, 그냥 모델 원래 샘플링(1.0 / 0.95 / 20)이랑 Basalt 기본 draft 설정 그대로 썼음.
내가 수정한 Basalt 내용 (전부 업스트림에 PR 올림)
Host KV prefault: 긴 대화가 KV 캐시를 RAM으로 넘길 때 원래 0.6~2.4초씩 멈췄는데, 이제 약 75ms로 줄임.
일반 페이지의 Host KV 풀: 파편화된 환경에서 transparent hugepage compaction 때문에 1.5~3.7초씩 렉 걸리던 거, 이제 약 23ms로 해결.
디코딩 루프 대기 시 Spin-then-yield 적용: draft 윈도우당 시간 약 1.3% 단축.
Expert start profile: 이 환경에서는 구형 v1 프로필이 v0.2.0보다 2% 더 빠름.
그 외에 스트리밍 대화 디스크 캐시, expert 스왑 히스테리시스를 위한 --adapt-margin, RAM 복사 없는 elastic KV, 그리고 각종 타이밍 진단 기능들 추가함.
