r/LocalLLaMA•약 3시간 전•31•60
RTX 5090 + 128GB RAM에서 인기 있는 Qwen 3.8 FN 엔진들을 전부 돌려보고 수치를 정리해 봤습니다
I ran all the popular Qwen 3.8 FN engines on a single 5090 + 128GB of RAM, here are the numbers
핵심 요약
RTX 5090 환경에서 Qwen 3.8 FN 엔진들의 성능을 벤치마킹한 결과, Basalt와 Infernix가 가장 뛰어난 성능을 보였습니다.
- 성능 벤치마크 — Basalt와 Infernix가 디코드 및 프리필 속도에서 압도적인 우위를 점함
- 하드웨어 환경 — RTX 5090과 128GB RAM을 사용하여 동일한 조건에서 엔진별 성능 측정
- 엔진 비교 — Basalt는 50K 이상의 컨텍스트 깊이에서 다른 엔진들보다 빠른 프리필 속도를 기록함
- 품질 논의 — 엔진별 변환 방식과 드래프터 차이로 인해 출력 결과가 달라질 수 있다는 의견 제시
읽기 전에: 아래 벤치마크에 포함된 엔진 중 하나인 Basalt 개발자다. 최대한 공정하게 하려고 노력했다. 같은 체크포인트, GPU, 요청을 사용했고, 각 엔진 문서에서 권장하는 방식대로 세팅했다. 어떻게 돌렸는지는 맨 아래에 적어놨다. 이 글은 내 원래 말투에서 AI를 좀 써서 다듬었다.
사람들이 하도 떠들어대길래 Qwen 3.8 FN 엔진들을 싹 다 비교해보고 싶었다. 그래서 5시간 넘게 개고생하면서 세팅하고(다시는 이런 짓 안 한다), 내가 아는 엔진들은 전부 벤치마크 돌려봤다. Strata, Infernix, capy-flash, ninfer-ext, ninfer, llama.cpp, 그리고 Basalt까지. 각자 자기네 툴로 NVIDIA의 NVFP4를 변환했고, RTX 5090 400W 환경에서 똑같은 greedy 요청 7개를 각각 콜드 스타트로 돌렸다. 결과는 다음과 같다.
Decode, short context
Decode, short context
Decode at context depth
Decode at context depth
Prefill at context depth
