r/LocalLLaMA•5개월 전•29•23
MLX에서 Gemma 4 MTP 사용 가능한가요?
New Gemma 4 MTP on MLX?
핵심 요약
구글의 Gemma 4 MTP 기능을 MLX 환경에서 구현하려는 시도와 그 기술적 가능성에 대한 커뮤니티의 논의.
- Gemma 4 MTP — 구글이 공개한 다중 토큰 예측 기술로 추론 속도를 2~3배 향상함.
- MLX 지원 미비 — 현재 MLX 환경에서 MTP 아키텍처 지원이 불완전하여 사용자들이 어려움을 겪음.
- 기술적 논쟁 — speculative prefill의 실효성과 손실 여부를 두고 사용자들 간 의견이 갈림.
- 대안적 환경 — vllm-mlx 등 특정 라이브러리나 환경에서는 작동한다는 보고가 있음.
혹시 못 들으셨을까 봐 말씀드리는데, 구글이 방금 Gemma 4를 위한 Multi Token Prediction(MTP) 드래프터를 공개했습니다. 메인 모델과 가벼운 드래프터를 짝지어 추론 속도를 2~3배 높이는 speculative decoding 방식이죠. 여러 토큰을 미리 예측하고 병렬로 검증하는 식입니다.
혹시 MLX에서 이거 써보신 분 계신가요? 시도해 봤는데 잘 안 되네요. 아직 지원이 안 되는 것 같습니다.
