[연구] JetSpec: 병렬 트리 드래프팅을 통한 추론 가속, 손실 없는 LLM 추론 속도를 최대 9.64배 향상 및 1000 TPS 돌파

긴 컨텍스트에서의 성능도 중요하지.

내 경우엔 Strix Halo에서 8비트로 돌리는 Qwen3.6이 15k 컨텍스트 정도까지는 70~100 TPS가 나오는데, 그 이후엔 speculative decoding 예측이 빗나가면서 45 TPS로 떨어지거든.

DDTTEE를 쓰면 상황은 더 안 좋아지고. 이 방식이 긴 컨텍스트에서도 계속해서 이점을 유지할 수 있을지 궁금하네.

Speculative decoding의 핵심 목적이 단일/저동시성 추론에서 효율성을 높이는 거 아님? 배치 사이즈가 커지면 어차피 compute-bound 영역으로 가게 되어 있는데.

그리고 uncensored verifier는 draft model까지 uncensored면 문제가 좀 생기는데...

멋진 연구긴 한데 1000 TPS라는 수치는 좀 과장된 면이 있음. B200은 트리 드래프팅을 가능하게 할 HBM 대역폭과 CUDA 그래프 지원을 갖추고 있으니까. 내가 추론 스택을 돌리는 애플 실리콘 환경에서는 병목 현상이 트리 내의 병렬성이 아니라 드래프트 모델의 메모리 대역폭에서 발생함. 오픈 엔드 챗에서 보여준 4.58배 속도 향상이 내 환경에는 더 유의미하긴 한데, 그것조차 타겟 모델과 함께 들어갈 드래프트 모델이 있어야 한다는 전제가 필요함. 소비자용 하드웨어에서의 지연 시간 수치도 보고 싶네…

이거 모델 출력 정확도 떨어뜨림?

dflash/ddtree랑 비교했을 때 메모리 오버헤드에 대해 말해줄 수 있음?

학습의 경우, 트리 깊이(즉, 블록 사이즈)가 일정하다고 가정하면 비용은 동일함. 추론의 경우에도 메모리 오버헤드는 더 늘어나지 않음(메모리 오버헤드는 LLM 모델 가중치가 대부분을 차지하니까). 단지 수용 길이를 늘리기 위해 Dflash보다 더 많은 연산이 필요할 뿐임(지연 시간을 줄이기 위해서).

vLLM 통합된 거 봤음. 어떤 모델들로 JetSpec 테스트해 봄?

현재 우리 vLLM 포크에서 더 작은 dense & MoE 모델들을 지원함: Qwen3 8B & Qwen3 30B A3B. 근데 사실 다양한 체크포인트들을 가지고 있음: https://huggingface.co/JetSpec. 더 많은 모델 지원도 계획 중임!