r/LocalLLaMA•약 9시간 전•69•6

[논문] Specter: 양자화 기반 다단계 추론 오프로딩을 통한 MoE 모델의 빠른 추론

[Paper] Specter: Fast MoE Inference via Quantization-Enabled Multi-Step Speculative Offloading

핵심 요약

양자화된 초안 모델을 활용해 MoE 모델의 오프로딩 병목을 해결하고 추론 속도를 최대 1.88배 향상시킨 Specter 시스템 소개.

MoE 추론 최적화 — 메모리 제약이 있는 환경에서 MoE 모델의 오프로딩 병목 현상을 해결함.
다단계 추론 기법 — 양자화된 초안 모델로 전문가 활성화 패턴을 예측하여 데이터 전송 효율을 개선함.
성능 향상 — 기존 시스템 대비 토큰당 추론 시간(TPOT)을 평균 1.5배, 최대 1.88배 단축함.
범용 하드웨어 지원 — 단일 GPU 환경에서도 고성능 MoE 모델을 실용적으로 구동할 수 있게 함.

Mixture-of-experts (MoE) models often exceed a single accelerator's memory capacity. Offloading experts to host memory creates a severe PCIe I/O bottleneck because data-dependent routing keeps transfers on the critical path. We present Specter, an inference system that uses quantization to combine speculative decoding with expert offloading. Its lightweight quantized draft model runs efficiently on device while preserving high-fidelity expert activation patterns. This provides accurate multi-step lookahead over future expert usage, allowing the runtime to organize expert movement and execution ahead of verification and improve both communication and execution efficiency. Under single-request inference, Specter achieves an average 1.50x (up to 1.88x) speedup in time per output token (TPOT) over the state-of-the-art system. Specter makes memory-constrained, single-GPU MoE inference more practical on commodity hardware. Our code is available at this https URL.

arXiv : https://arxiv.org/abs/2511.14102
PDF :

원문

커뮤니티 목록

r/LocalLLaMA•약 9시간 전•69•6

[논문] Specter: 양자화 기반 다단계 추론 오프로딩을 통한 MoE 모델의 빠른 추론

[Paper] Specter: Fast MoE Inference via Quantization-Enabled Multi-Step Speculative Offloading

핵심 요약

양자화된 초안 모델을 활용해 MoE 모델의 오프로딩 병목을 해결하고 추론 속도를 최대 1.88배 향상시킨 Specter 시스템 소개.

MoE 추론 최적화 — 메모리 제약이 있는 환경에서 MoE 모델의 오프로딩 병목 현상을 해결함.
다단계 추론 기법 — 양자화된 초안 모델로 전문가 활성화 패턴을 예측하여 데이터 전송 효율을 개선함.
성능 향상 — 기존 시스템 대비 토큰당 추론 시간(TPOT)을 평균 1.5배, 최대 1.88배 단축함.
범용 하드웨어 지원 — 단일 GPU 환경에서도 고성능 MoE 모델을 실용적으로 구동할 수 있게 함.

Mixture-of-experts (MoE) models often exceed a single accelerator's memory capacity. Offloading experts to host memory creates a severe PCIe I/O bottleneck because data-dependent routing keeps transfers on the critical path. We present Specter, an inference system that uses quantization to combine speculative decoding with expert offloading. Its lightweight quantized draft model runs efficiently on device while preserving high-fidelity expert activation patterns. This provides accurate multi-step lookahead over future expert usage, allowing the runtime to organize expert movement and execution ahead of verification and improve both communication and execution efficiency. Under single-request inference, Specter achieves an average 1.50x (up to 1.88x) speedup in time per output token (TPOT) over the state-of-the-art system. Specter makes memory-constrained, single-GPU MoE inference more practical on commodity hardware. Our code is available at this https URL.