r/LocalLLaMA•4개월 전•234•93

LM Studio, 드디어 MTP Speculative Decoding 지원 추가

LM Studio finally added support for MTP Speculative Decoding

핵심 요약

LM Studio 0.4.14 베타 버전에서 MTP Speculative Decoding을 활성화하는 방법과 성능 향상에 대한 논의.

MTP 지원 — LM Studio 0.4.14 베타 버전부터 MTP Speculative Decoding을 공식 지원함.
설정 방법 — 모델 로드 시 'Manually choose model load parameters'를 선택하고 MTP를 수동으로 활성화해야 함.
성능 체감 — 3090 환경에서 Qwen 모델 사용 시 약 2배 정도의 속도 향상을 경험했다는 후기가 있음.
최적화 논란 — 일부 사용자는 llama-server가 LM Studio보다 훨씬 빠르다고 지적함.

0.4.14 Build 2 (Beta) 버전으로 업데이트하고 llama.cpp 엔진이 2.15.0인지 확인하세요.

모델을 로드하기 전에 반드시 "Manually choose model load parameters"를 선택하고 그 안에서 MTP를 활성화해야 합니다. 기본값으로는 꺼져 있습니다.

원문

커뮤니티 목록

r/LocalLLaMA•4개월 전•234•93

LM Studio, 드디어 MTP Speculative Decoding 지원 추가

LM Studio finally added support for MTP Speculative Decoding

핵심 요약

LM Studio 0.4.14 베타 버전에서 MTP Speculative Decoding을 활성화하는 방법과 성능 향상에 대한 논의.

MTP 지원 — LM Studio 0.4.14 베타 버전부터 MTP Speculative Decoding을 공식 지원함.
설정 방법 — 모델 로드 시 'Manually choose model load parameters'를 선택하고 MTP를 수동으로 활성화해야 함.
성능 체감 — 3090 환경에서 Qwen 모델 사용 시 약 2배 정도의 속도 향상을 경험했다는 후기가 있음.
최적화 논란 — 일부 사용자는 llama-server가 LM Studio보다 훨씬 빠르다고 지적함.

0.4.14 Build 2 (Beta) 버전으로 업데이트하고 llama.cpp 엔진이 2.15.0인지 확인하세요.

모델을 로드하기 전에 반드시 "Manually choose model load parameters"를 선택하고 그 안에서 MTP를 활성화해야 합니다. 기본값으로는 꺼져 있습니다.

주요 댓글

r/localllama

LM Studio의 MTP Speculative Decoding 지원 소식에 다들 환영하면서도, 여전히 부족한 세부 설정 기능이나 레딧의 이미지 압축 문제에 대해 활발하게 의견을 나누는 분위기임.

윈도우 11(AMD 3900x, 128GB RAM, 2060 Super 8GB)에서 Unsloth의 Qwen3.6-35B-A3B MTP 모델로 테스트해 봄. LM Studio 0.4.14 베타는 8.2 tps, 최적화된 llama-server는 18.5 tps 나옴. llama-server가 LM Studio 압살함. 깃허브에 있는 빌드된 바이너리들도 LM Studio보다 훨씬 빠름. 겨우 쓸만한 모델을 쾌적하게 만들어주는 수준임.

어떤 llama server 설정 쓰고 있음?

설정에 문제 있거나 LM Studio에 노출되지 않은 플래그에 의존하는 듯. 어차피 llama.cpp 래퍼일 뿐인데.

개발자들이 무슨 짓을 한 건지 모르겠는데, 다른 소프트웨어들은 발전하는데 얘네는 어떻게 모델 속도를 더 느리게 만든 거냐.

지난달까지 LM Studio 썼음. LLM 돌릴 때 매일 쓰던 툴이었는데, 호기심에 llama.cpp 한번 써보고 나니까 LM Studio로 다시 못 돌아가겠더라. 최적화랑 사용 가능한 플래그 차이가 너무 큼, 내 생각엔.

그래, CPU 오프로딩할 때 ubatch 조절하면 MOE 프롬프트 처리 속도가 엄청 빨라진다는 거 알고 나선 뒤도 안 돌아봤지. LM Studio에서 아직도 ubatch 조절 못 하게 하는 건 진짜 어이없음.

llama.cpp에도 모델 브라우저 같은 거 있나? 최신 모델 릴리스 목록 깔끔하게 정리돼서 바로 다운로드할 수 있는 거. 솔직히 그게 LM Studio 최고의 기능인 듯.

그래서... 드디어 Gemma 4에서 쓸 수 있는 거야? 'assistant' 미니 모델용 GGUF는 쓸만한 걸 못 찾겠네(지금 있는 건 다 ik_llama나 다른 포크용인 듯?).

Gemma 4 나오면 누가 좀 알려줘라. Qwen은 글을 너무 못 써서 나한텐 쓸모가 없음.