r/LocalLLaMA•5개월 전•100•46
llama.cpp에 MTP 도입 예정, MTP를 지원하는 모델들
As MTP prepares to land in llama.cpp, Models that support MTP
핵심 요약
llama.cpp에 다중 토큰 예측(MTP) 기능이 추가될 예정이며, 이를 지원하는 최신 모델들에 대한 논의가 진행 중임.
- MTP 도입 — llama.cpp에 다중 토큰 예측 기능이 추가되어 추론 속도 향상이 기대됨.
- 지원 모델 논의 — Qwen 3.6, GLM 4.5 등 MTP를 지원하는 모델 목록과 구현 방식이 공유됨.
- 기술적 원리 — MTP는 다음 토큰 하나가 아닌 여러 토큰을 동시에 예측하여 생성 속도를 2.5~3배 높임.
- 구현 방식 — MTP 가중치가 나오기 전까지는 HF 가중치를 다운로드하여 GGUF로 변환해야 함.
DeepSeekv3 OG
DeepSeekv3.2/4
Qwen3.5
GLM4.5+
MiniMax2.5+
Step3.5Flash
Mimo v2+
MTP 가중치가 나오기 전까지는 HF 가중치를 다운로드하여 GGUF로 변환해야 함. 일단 qwen3.5-122b나 glm4.5-air부터 시도해볼 생각임.
