RTX 5090 2개로 Qwen3.8-Flash-Next 구동 시 504 tok/s 달성: QEngine 1.3.1 성능 분석

디코딩 열은 주의해서 봐라. QEngine의 전문가 캐시는 최근 사용 패턴에 맞춰서 최적화되는데, bench.sh는 똑같은 프롬프트를 계속 반복하니까 이게 거의 최상의 조건이라고 보면 된다. 예전에 트래픽 섞어서 테스트했을 땐 단일 스트림에서 300-400 tok/s 정도 나왔음(hermes 에이전트 트래픽은 요청당 330-470). Strata 캐시는 라우팅된 전문가 데이터의 99.5%를 들고 있어서 프롬프트 반복해도 별 이득이 없다. 대충 Strata 대비 1.4-1.9배, bucko 대비 3배 정도라고 보면 됨.

프리필(Prefill) 결과는 좀 갈린다. 10K에서는 QEngine이 빠른데 90K 넘어가면 Strata가 더 빠름. Strata는 깊이가 깊어질수록 속도가 올라가는데 QEngine은 일정하게 유지되거든.

에이전트 지연 시간 (12턴 툴 사용 벤치, 컨텍스트 35K까지 증가)

프리픽스 캐시 적용된 상태에서 12턴 프롬프트 읽기:

• QEngine 1.3.1: 1.75초

• Strata IQ4_XS: 1.7-1.9초

• ThinkingCap 27B dual-fast: 2.07초

• exl3: 3.5-3.9초

• bucko: 4.36초

여기선 QEngine이랑 Strata가 비등함(QEngine rc4 빌드는 같은 벤치에서 1.4초 찍었으니, 1.5-1.8초 사이면 오차 범위 내임). 둘 다 bucko보다는 2배 정도 빠르다.

유휴 대화: FLASH_KV=ram

1.3.1 버전은 KV 캐시를 VRAM 대신 호스트 RAM(13.5GB 풀, 약 1M 토큰)에 박아둘 수 있다. 58K 토큰짜리 대화 8개를 띄워놓고, 다른 트래픽 400K 토큰을 굴린 다음에 다시 돌아와 봤음:

• KV in RAM: 8개 전부 바로 응답함, 첫 응답까지 1.56-2.01초 걸림.

• KV in VRAM: 8개 중 2개만 바로 응답. 나머지 6개는 다시 프리필하느라 8.7-9.4초 걸림. 그냥 콜드 스타트(8.85초)랑 똑같음. 답변 정확도는 그대로라 지연 시간만 손해 보는 셈.

RAM 모드가 단일 스트림 디코딩은 10% 정도 더 빨랐는데, 64K 스트림 8개를 동시에 돌릴 때는 10% 정도 느려짐(스트림당 124 vs 139 tok/s). 모드별로 한 번씩 부팅해서 테스트한 결과임.

품질 및 안정성

omp 에이전트 하네스(44개 작업 어시스턴트 세트, 낮은 노력, 1회 시행) 결과: 1.3.1에서 44/44, 1.3에서는 두 번 다 42/44 나옴. 1.3의 medium/xhigh 설정에서는 각각 43/44. 6개 작업 서브 에이전트 위임 세트는 위임 여부 상관없이 6/6 통과. 1.3에서 1.3.1로 넘어오면서 바뀐 건 작업 하나 차이라 그냥 오차라고 봐라.

코딩 테스트(aider-polyglot-30, thinking 켜고, 낮은 노력, 단일 패스), rc4 빌드 기준: QEngine 26/30. Strata UD-IQ4_XS 24/30, UD-Q4_K_XL 25/30(반복 테스트 시 24-26), ThinkingCap 27B 17/30. 26이랑 24-26은 Strata 설정 반복 오차 범위 안이라, 솔직히 말하면 INT4 AutoRound 양자화가 코딩 성능이 더 좋은 게 아니라 그냥 꿀리지 않는 수준임. 1.3.1에서는 다시 안 돌려봤다.

예전에 하던 멀티팩 에이전트/툴 사용 스위트도 돌려봤는데, QEngine은 다른 Flash-Next 엔진들이랑 오차 범위 내에서 비슷하게 나옴.

결론

RTX 5090 2장 환경에서 QEngine 1.3.1은 내가 측정해 본 Flash-Next 엔진 중 단일 스트림 디코딩이 제일 빠르다. 에이전트 프롬프트 지연 시간은 Strata랑 동급이고, KV-in-RAM 모드는 장시간 유휴 상태인 대화 굴릴 때 진짜 개꿀임. 코딩 품질은 Strata의 GGUF 양자화랑 비슷한 수준. 단점은 VRAM을 빡빡하게 먹고, 직접 빌드해야 하고, vLLM이나 Strata에 비해 런타임 히스토리가 짧다는 거 정도.

한번 써봐라, 개발자가 피드백 엄청 잘 받아줌. 추가 자료는 https://github.com/noonghunna/club-3090에서 확인 가능. 클럽 참여도 환영한다!

그건 말이 안 되는데요. 여기 포스트에는 총 64GB라고 되어 있잖아요. 이 엔진이 전문가 오프로딩(expert offloading)을 지원하는 것 같습니다. README를 보면 QEngine 1.3.2가 3개 혹은 2개의 RTX 3090에서 Qwen3.8-Flash-Next(INT4)를 구동한다고 되어 있는데, 이건 실행 관점에서 총 VRAM 용량이 크게 중요하지 않을 수도 있다는 걸 암시합니다.