tandem.cpp: 단일 4090 + 64GB RAM 환경에서 Qwen3.8-Flash-Next 97 tok/s 달성, llama.cpp 대비 3.3배 속도 향상 및 모든 MoE 모델 지원
tandem.cpp: Qwen3.8-Flash-Next at 97 tok/s on a single 4090 + 64 GB RAM, 3.3× llama.cpp, works for any MoE
핵심 요약
VRAM이 부족한 MoE 모델을 CPU와 SSD를 활용해 가속하는 llama.cpp 패치 세트인 tandem.cpp가 공개되었습니다.
- 성능 향상 — VRAM 부족 시 MoE 모델 추론 속도를 1.4~3.3배까지 가속함
- 범용성 — llama.cpp가 지원하는 모든 MoE 모델에서 작동 가능
- 기술적 차별점 — VRAM뿐만 아니라 RAM과 SSD를 활용하여 전문가 모델을 효율적으로 배치함
- 오픈소스 프로젝트 — ggml-org와 무관한 독립 프로젝트로 GitHub에서 빌드 및 실행 가능
tandem.cpp는 VRAM 용량이 부족해서 안 돌아가는 MoE 모델들을 더 빠르게 돌릴 수 있게 해주는 llama.cpp용 패치 세트임. llama.cpp가 지원하는 모든 MoE 모델에 대해, 자주 쓰는 전문가(expert)는 GPU에 박아두고 나머지는 CPU가 처리하게 만드는 방식임. 싱글 유저 디코딩 환경을 타겟으로 잡았음.
일반 PC(i5-12400F, 64 GB DDR4, RTX 4090) 환경, GSM8K, 디코딩 속도(tok/s):
| Model | llama.cpp | tandem.cpp | Strata |
|---|---|---|---|
| Qwen3.8-Flash-Next IQ3_S + MTP, greedy | 29.8 | 97.3 (3.3×) | 103.6 |
| same, Qwen's default sampling | 29.4 | 96.1 (3.3×) | 98.1 |
| gpt-oss-120b, greedy | 27.8 | 51.5 (1.85×) | — |
| gpt-oss-120b, recommended sampling | 27.7 | 48.0 (1.73×) | — |
Qwen3.8에 최적화되어 있긴 한데, VRAM 용량 딸리는 다른 MoE 모델들도 성능 향상 확실함. 보통 1.4~2.1배 정도 빨라짐(gpt-oss-120b, GLM-4.5-Air, Qwen3.6-35B-A3B, DeepSeek-V4.1). 64k 프롬프트 기준 프롬프트 처리 속도도 1.4~1.8배 빨라짐.
Strata는 정확한 모드(llama.cpp처럼 라우팅된 모든 전문가를 계산)로 표시했음. 기본 설정은 순위 낮은 전문가를 건너뛰는데, 이게 더 빠르긴 하지만 근사치임(여기선 127.1).
독립 프로젝트고 ggml-org랑은 아무 상관 없음. 빌드 방법, 실행 명령어, 4개 기기에서의 전체 결과는 여기서 확인 가능: https://github.com/ewhacc/tandem.cpp
