r/LocalLLaMA•약 4시간 전•38•21

소형부터 대형까지, 모든 Qwen 모델에 대한 Strata 벤치마크

Strata for all Qwen models from little to big

핵심 요약

RustingStrata와 llama.cpp를 비교한 Qwen 모델 벤치마크 결과, VRAM을 초과하는 대형 모델에서 Strata가 더 뛰어난 성능을 보임.

내 컴퓨터에 있는 모든 Qwen GGUF 모델을 RustingStrata랑 llama.cpp로 돌려봤다. 똑같은 PC, 똑같은 파일로 바로 이어서 테스트함.

PC 사양: RTX 3060 12 GB, Ryzen 5 7600X, 32 GB RAM. CUDA 사용. 평소처럼 브라우저랑 디스코드 켜놓은 상태고, 따로 튜닝 같은 건 안 해서 README에 나온 수치보다는 낮게 나옴.

Model	Quant	Size	Prefill 4K, RustingStrata	Prefill 4K, llama.cpp	Decode after 4K, RustingStrata	Decode after 4K, llama.cpp
Qwen3.5-2B	Q8_0	1.9 GB	3859	6080	96.1	89.8
Qwen3-4B-Instruct-2507	Q4_K_M	2.3 GB	1433	2482	57.4	59.7
Qwen3.8-27B (Swift-1.5)	IQ2_XXS	8.3 GB	283	459	16.5	14.7
Qwen3-30B-A3B-Instruct-2507	UD-Q2_K_XL	11 GB	1236	1545	63.6	52.9
Qwen3.6-35B-A3B	UD-Q2_K_XL	11.7 GB	1539	1029	71.5	39.6
Qwen3-Next-80B-A3B-Instruct	UD-IQ1_S	21 GB	1154	739	63.7	33.3
Qwen3.8-Flash-Next (177B)	IQ2_XS	63 GB	305	193	21.3	18.1

모든 수치는 tok/s 기준이고, 2번 돌린 거 평균값임.

r/LocalLLaMA•약 4시간 전•38•21

Strata for all Qwen models from little to big

RustingStrata와 llama.cpp를 비교한 Qwen 모델 벤치마크 결과, VRAM을 초과하는 대형 모델에서 Strata가 더 뛰어난 성능을 보임.

내 컴퓨터에 있는 모든 Qwen GGUF 모델을 RustingStrata랑 llama.cpp로 돌려봤다. 똑같은 PC, 똑같은 파일로 바로 이어서 테스트함.

Model	Quant	Size	Prefill 4K, RustingStrata	Prefill 4K, llama.cpp	Decode after 4K, RustingStrata	Decode after 4K, llama.cpp
Qwen3.5-2B	Q8_0	1.9 GB	3859	6080	96.1	89.8
Qwen3-4B-Instruct-2507	Q4_K_M	2.3 GB	1433	2482	57.4	59.7
Qwen3.8-27B (Swift-1.5)	IQ2_XXS	8.3 GB	283	459	16.5	14.7
Qwen3-30B-A3B-Instruct-2507	UD-Q2_K_XL	11 GB	1236	1545	63.6	52.9
Qwen3.6-35B-A3B	UD-Q2_K_XL	11.7 GB	1539	1029	71.5	39.6
Qwen3-Next-80B-A3B-Instruct	UD-IQ1_S	21 GB	1154	739	63.7	33.3
Qwen3.8-Flash-Next (177B)	IQ2_XS	63 GB	305	193	21.3	18.1