r/LocalLLaMA•5개월 전•74•47
llama.cpp의 MTP 공식 지원은 언제쯤 될까?
How long for llama.cpp official support of MTP?
핵심 요약
llama.cpp의 MTP 공식 지원 시점과 구현 방식, 그리고 현재 커뮤니티에서 사용 가능한 우회 방법들에 대한 논의.
- 공식 지원 시점 — 코드 품질과 안정성을 위해 리팩토링 중이라 시간이 좀 걸림.
- MTP 구현 방식 — 기존 모델과 호환성 문제로 별도의 GGUF 파일이나 이식 스크립트가 필요함.
- 성능 및 제약 — 현재 Vulkan/HIP 환경에서 속도 저하나 컨텍스트 제한 등 일부 기능적 제약이 존재함.
- 커뮤니티 우회법 — 공식 병합 전까지는 사용자가 직접 스크립트로 MTP 레이어를 이식해서 사용 가능함.
안녕하세요 (초보입니다)
제 Strix Halo (Windows 11) 환경에서 llama.cpp를 빌드하려고 했는데 자꾸 cmake 에러가 나서 몇 시간째 삽질 중입니다... 그래서 Vulkan/HIP에서 MTP를 공식 지원하는 릴리즈가 언제쯤 나올지 궁금해서 질문드립니다.
감사합니다!
