Qwen 3.6 27B Speculative Decoding 벤치마크: RTX 3090 한 장으로 100 TPS 달성

ik_llama — "다 되는" 만능 포크

네이티브 MTP 지원, merge-qkv, recurrent 체크포인트, 멀티 백엔드 추론 디코딩이 들어간 llama.cpp 포크입니다. IQ4_KS 양자화(ubergarm 제작)로 테스트했습니다.

ik_llama + MTP+ngram (ngram-mod + mtp)

코드 생성 성능 지림. ngram 드래프트(n_max=4, 사이즈 16)랑 MTP(n_max=3)를 합쳤습니다. 코드는 87.8 decode tokens/sec 찍히는데, 메인라인보다 압도적으로 빠릅니다.

• VRAM: 20508 MiB (GPU 사용률 82%)
• 컨텍스트 성능 저하: −25% (32.1→24.1 gen_tps). 컨텍스트가 찰 때 속도 드랍이 좀 눈에 띕니다.

ik_llama + MTP (ubergarm 튜닝 설정)

서술형 속도 원탑: 63.9 TPS로 이번 벤치마크 전체에서 제일 빠릅니다. 코드는 89.2 TPS 나오네요.

• 추가 설정: -muge --merge-qkv -mtprot iq4_ks -cram 32768 --slot-save-path /root/slot --ctx-checkpoints 32
• VRAM: 22304 MiB. 슬롯 체크포인트 때문에 VRAM을 더 먹습니다.
• 컨텍스트 성능 저하: −32% (34.6→23.5). 테스트한 것들 중 성능 저하가 제일 심합니다.

ik_llama + MTP (표준 설정)

네이티브 MTP의 기준점. ubergarm의 추천 튜닝이나 하이브리드 ngram 모듈 없이 표준 파라미터(n_max=2)로 돌렸습니다. 코드 73.1 TPS, 서술 61.7 TPS로 밸런스가 좋습니다.

• VRAM: 20208 MiB.
• 컨텍스트 성능 저하: −25% (33.8→25.4 gen_tps).

ik_llama + DFlash

beellama의 독립형 드래프트 모델로 테스트했습니다. 코드 96.8 TPS로 MTP+ngram이랑 비비는데, 서술형은 45.7 TPS로 영 별로네요. 드래프트 모델을 따로 불러와서 그런지 TTFT가 504ms로 높습니다.

mainline llama.cpp — 레퍼런스

포크도 없고 패치도 없습니다. 업스트림 추론 MTP 그대로 씁니다. 표준 Q4_K_M 양자화 사용.

• 코드: 64.7 DP | 서술: 52.6 TPS
• TTFT: 288ms — 전체 통틀어 제일 빠름, 오버헤드 제로
• 컨텍스트 일관성: 성능 저하 0% (72k에서 128k 사이 31.3→31.3 TPS). 이게 중요합니다. 메인라인은 컨텍스트 길이랑 상관없이 속도가 일정합니다(아니면 그냥 운이 좋았던 건가?).

깡성능이 제일 빠른 건 아니지만, 제일 예측 가능한 놈입니다.

Spiritbuun — 최적화된 MTP, 망한 DFlash

Spiritbuun MTP

MTP 최적화(터보 캐시, flash-attn)가 들어간 포크입니다. Q4_K_M 양자화 사용.

이걸 테스트한 이유는 Qwen 3.6 35B A3B MoE 모델이랑 APEX 양자화 조합에서 제일 결과가 좋았기 때문입니다(관심 있으면 제 예전 글 찾아보세요).

• 코드: 59.7 TPS | 서술: 45.7 TPS
• 컨텍스트 성능 저하: −9%. 메인라인 다음으로 일관성이 제일 좋음.
• TTFT: 294ms — 메인라인이랑 거의 똑같음

Spiritbuun DFlash

자체 드래프트 모델로 테스트했습니다. MTP 속도도 못 따라오네요: 코드 67.0 TPS, 서술 30.4 TPS. 긴 컨텍스트 성능은 테스트 안 했습니다. 그럴 가치가 없어 보여서요.

beellama DFlash — 미친 코드 속도, 높은 TTFT 비용

자체 드래프트 모델(anbeeld-Qwen3.6-27B-DFlash-IQ4_XS.gguf)에 cross-ctx 1024, 통합 KV를 씁니다.

• 코드: 96.8 TPS — 전체 2등, ik_llama랑 거의 비슷함
• 서술: 45.7 TPS
• 단점: TTFT가 504ms (메인라인의 거의 두 배). 첫 글자 뜨는 데 0.5초 걸림.
• VRAM: 20814 MiB. GPU 사용률은 적당함(73%).
• 컨텍스트: 128k에서 27.1 DP 유지. 긴 컨텍스트에서는 ik_llama MTP보다 나음.

LUCEBOX DFlash — 나한테는 안 돌아감

DFlash, TQ3 KV 캐시, PFlash가 들어간 독립 서버 엔진인데...

• 코드: 32.7 DP | 서술: 32.5 DP
• 추론 디코딩 안 쓴 것보다 못한 경우가 많음

내가 이걸 제대로 못 쓴 건가? 내가 incus 컨테이너에서 쓴 환경은 이거임:

      environment.DFLASH_FP_USE_BSA: "1"
      environment.DFLASH_HOST: 0.0.0.0
      environment.DFLASH_KVFLASH: auto
      environment.DFLASH_PORT: "8080"
      environment.DFLASH_PREFILL_DRAFTER: /opt/lucebox-hub/server/models/unsloth-Qwen3-0.6B-BF16.gguf
      environment.DFLASH_PREFILL_MODE: auto
      environment.DFLASH_SERVER_BIN: /opt/lucebox-hub/server/build/dflash_server
      environment.DFLASH_TARGET: /opt/lucebox-hub/server/models/Qwen3.6-27B-Q4_K_M.gguf
      environment.DFLASH27B_KV_TQ3: "1"

일관성 판정

실사용 일관성(컨텍스트 길이에 따른 속도 안정성 + 낮은 TTFT + 낮은 VRAM 오버헤드)만 놓고 순위를 매겨보면:

1. mainline llama.cpp MTP — 일관성 면에서 압도적 1위. 72k에서 128k 사이 성능 저하가 거의 없음. TTFT도 제일 낮음(288ms). VRAM도 안정적(~21GB). 외부 드래프트 모델 의존성도 없음. 뻑나지도 않고, 튀지도 않고, 스로틀링도 안 걸림.
2. Spiritbuun MTP — 성능 저하 딱 9%, TTFT 294ms로 아주 안정적임. 메인라인보다 처리량은 살짝 낮지만 결과값이 엄청나게 예측 가능함.
3. LUCEBOX DFlash — 기술적으로는 일관성 있음(편차 0.1%). 근데 그냥 존나 느림. 나한테는 쓸모없음.
4. ik_llama 설정 — 짧은 컨텍스트에선 빠른데, 긴 컨텍스트로 가면 대가를 톡톡히 치름(-25%에서 -32%까지 성능 떡락).

내 생각: 메인라인이랑 Spiritbuun 차이는 미미함(TPS 3~5 정도). 근데 메인라인은 성능 저하가 아예 없고 TTFT도 제일 낮아서 실질적으로 가장 일관된 설정임. 긴 문서나 RAG 파이프라인 돌릴 거면 메인라인이 뒤통수 칠 일 없음. ik_llama는 속도 하나는 확실한데, 짧은 컨텍스트에 올인하는 꼴임.

최종 추천

너네 생각은 어떰?

이상하네요. 다른 앱들이 VRAM을 점유하고 있나요? 추론에 쓸 수 있는 VRAM이 얼마나 남았죠?

그리고 리눅스 쓰시나요? 어떤 백엔드를 사용 중이신가요? KV 압축을 시도해 보셨나요? Club 3090 레시피들은 27B 모델에 q4/q4를 사용하고 있습니다.