JetBrains/Mellum2.1-12B-A2.5B-Thinking-MTP · 허깅페이스
JetBrains/Mellum2.1-12B-A2.5B-Thinking-MTP · Hugging Face
핵심 요약
JetBrains가 MTP 헤드를 탑재하여 추론 속도를 1.4~1.8배 향상시킨 Mellum2.1-12B 모델을 공개했습니다.
- MTP 헤드 도입 — 추론 시 토큰을 미리 예측하여 디코딩 속도를 1.4~1.8배 가속함
- 모델 사양 — 12B 파라미터 모델로 2.5B 활성 파라미터를 사용하며 기존 Mellum2.1과 호환됨
- 호환성 지원 — vLLM, transformers, llama.cpp 등 주요 프레임워크에서 사용 가능
- 성능 논쟁 — Qwen3.5-9B 대비 벤치마크 성능과 실제 에이전트 작업 효율성을 두고 의견이 갈림
huggingface.co
원문 사이트로 이동
Mellum2.1 Thinking, MTP 헤드 적용
Multi-token prediction head
Multi-token prediction (MTP) 헤드는 모델과 함께 학습되는 트랜스포머 블록 하나를 추가해서, 방금 샘플링한 토큰 다음 토큰을 예측하는 방식임. 추론 엔진은 이걸 추측성 초안(speculative draft)으로 써먹는데, 모델이 초안으로 뽑힌 토큰을 일일이 검증하니까 출력 결과는 그대로 유지하면서 디코딩 속도는 1.4~1.8배 빨라짐. 초안 토큰의 약 90%가 그대로 통과되거든. 이 헤드는 model-mtp.safetensors 파일 안에 mtp. 접두사로 들어있고, config.json에서 num_nextn_predict_layers: 1로 설정되어 있음. 나머지는 전부 Mellum2.1 Thinking이랑 똑같음.
-
vLLM 0.33 이상: 위에 적어둔 서빙 명령어처럼
--speculative-config '{"method": "mtp", "num_speculative_tokens": 1}'옵션을 쓰면 됨. -
transformers 5.20 이상:
generate함수에use_mtp=True를 넣으면 됨. -
llama.cpp:
--spec-type draft-mtp --spec-draft-n-max 1옵션을 써서 GGUF 저장소를 사용하면 됨.
