r/LocalLLaMA•약 8시간 전•54•31
[벤치마크] Strata/Basalt, 16GB VRAM과 55GB RAM으로 Qwen3.8 Flash Next IQ3_S 구동 (최대 250 tok/s 생성, 5,600 tok/s 프롬프트 처리)
[Benchmark] Strata/Basalt runs Qwen3.8 Flash Next IQ3_S with 16GB VRAM and 55GB RAM with up to 250 tok/s generation and 5,600 tok/s prompt processing (5080, Concurrency 1)
핵심 요약
RTX 5080 환경에서 Basalt 엔진을 활용해 고성능 LLM 추론 속도를 달성한 벤치마크 결과입니다.
- 성능 지표 — 16GB VRAM 환경에서 초당 250토큰 생성 및 5,600토큰 프롬프트 처리 달성함
- 기술적 배경 — Basalt 엔진의 expert-cache와 CPU-RAM 활용을 통해 VRAM 한계를 극복함
- 하드웨어 요구사항 — 50시리즈 GPU뿐만 아니라 다양한 환경에서 구동 가능성을 확인함
- 최적화 팁 — WSL 환경 활용 및 iGPU를 통한 VRAM 전용 할당으로 성능 극대화함
Basalt에서 돌린 Qwen3.8-Flash-Next IQ3_S | RTX 5080 16 GB, Core Ultra 9 285K, 62 GB DDR5-6800 | 262K 컨텍스트, int8 KV
| Workload (prompts 5K+) | PP avg (t/s) | PP peak (t/s) | TG avg (t/s) | TG peak (t/s) | VRAM | RAM (engine / left free) |
|---|---|---|---|---|---|---|
| Agent coding session (opencode, 103 requests, up to 130K ctx) | 5,011 | 5,118 | 153.0 | 262 | 15.7 GB | 54.1 GB / 5.2 GB |
| Context sweep (fresh prompts 15K-207K) | 5,475 | 5,662 | 154.9 | 186.6 | 15.7 GB | 54.1 GB / 5.1 GB |
-
Agent PP: 캐시되지 않은 대규모 읽기 두 번(10.7K 및 8K 신규 토큰). 프롬프트 토큰의 99.5%가 프롬프트 캐시에서 나왔고, 첫 토큰까지 걸린 중앙값 시간은 0.2초임.
-
Agent TG 피크는 가장 잘 나온 1초 기준이고, 평균값은 전체 디코드 시간 동안 생성된 모든 토큰을 계산한 거임.
-
Sweep TG는 요청당 평균값(각 384 토큰, temp 0.7)이며, 깊이당 2회 실행함.
