r/LocalLLaMA•28일 전•450•98

Qwen3.8-Flash-Next-GGUF용 MTP 출시

MTP released for Qwen3.8-Flash-Next-GGUF

핵심 요약

Qwen3.8-Flash-Next-GGUF 모델을 위한 MTP(Multi-Token Prediction) 기능이 출시되어 성능 향상에 대한 기대가 모이고 있습니다.

MTP 출시 — Qwen3.8-Flash-Next-GGUF 모델의 멀티 토큰 예측 기능이 공개됨
성능 기대 — TPS 향상 및 llama.cpp 최적화에 대한 커뮤니티의 관심이 높음
기술적 의문 — MTP의 구체적인 이점과 기존 버전과의 차이점에 대해 질문함

huggingface.co

원문 사이트로 이동

빨리 테스트해보고 싶다! 이거 들어가면 TPS 확 오르겠는데?

이제 llama cpp 최적화만 더 많이 머지되면 딱이다!

수정:

이거 테스트해보고 싶은 사람들은 여기로: https://github.com/unslothai/llama.cpp/pull/144/changes

더 자세한 정보: https://huggingface.co/unsloth/Qwen3.8-Flash-Next-GGUF/blob/main/MTP/README.md

원문

커뮤니티 목록

r/LocalLLaMA•28일 전•450•98

Qwen3.8-Flash-Next-GGUF용 MTP 출시

MTP released for Qwen3.8-Flash-Next-GGUF

핵심 요약

Qwen3.8-Flash-Next-GGUF 모델을 위한 MTP(Multi-Token Prediction) 기능이 출시되어 성능 향상에 대한 기대가 모이고 있습니다.

MTP 출시 — Qwen3.8-Flash-Next-GGUF 모델의 멀티 토큰 예측 기능이 공개됨
성능 기대 — TPS 향상 및 llama.cpp 최적화에 대한 커뮤니티의 관심이 높음
기술적 의문 — MTP의 구체적인 이점과 기존 버전과의 차이점에 대해 질문함

huggingface.co

원문 사이트로 이동

빨리 테스트해보고 싶다! 이거 들어가면 TPS 확 오르겠는데?

이제 llama cpp 최적화만 더 많이 머지되면 딱이다!

수정:

이거 테스트해보고 싶은 사람들은 여기로: https://github.com/unslothai/llama.cpp/pull/144/changes

더 자세한 정보: https://huggingface.co/unsloth/Qwen3.8-Flash-Next-GGUF/blob/main/MTP/README.md

주요 댓글

r/localllama

MTP 기술의 효율성과 메모리 절약 효과에 대해 긍정적인 반응을 보이고 있으나, llama.cpp 메인 브랜치에서의 지원 부족 등 기술적 한계도 함께 언급됨.

이제 llama cpp 최적화 더 머지되기만 하면 됨

방금 몇 시간 전에 하나 머지된 거 봤음

https://github.com/ggml-org/llama.cpp/pull/28123

드래프트 없음: 108 tok/s

이전: 코드 123 tok/s, 산문 83 tok/s

이후: 코드 183 tok/s, 산문 144 tok/s

83이라는 수치에 주목하셈: 이 변경 전에는 MTP가 드래프팅을 아예 안 하는 것보다 느렸음.

이것도 머지됨. pp 개선용.

https://github.com/ggml-org/llama.cpp/pull/28023

진행 중인 PR들:

qwen4exp: direct reads for the lazy PLE table (>2x prefill performance improvement on GB10)- #28136
qwen4exp: follow up fixes- #27941
kv-cache : index (seq,pos) cells to make ngram prev-token lookups O(log n) for qwen4exp decode speedup- #27992
[qwen4exp : add NextN/MTP draft head (--spec-type draft-mtp) …

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

MTP PR은 아직 Unsloth의 Llama.cpp 클론에도 머지 안 됐음.
https://github.com/unslothai/llama.cpp/pull/144

이건 Unsloth에서 빌드한 릴리즈에서만 작동할 거임.
https://huggingface.co/unsloth/Qwen3.8-Flash-Next-GGUF/blob/main/MTP/README.md

작성자님 포스트에 리드미 링크 좀 추가해줘.

SSD 오프로드 문제는 해결됐나?

llamacpp 플래그
--lazy-mode auto

아직 q4 이하 양자화에서 BF16 잉그램을 제대로 쓸 방법이 없긴 함

MTP 파일은 며칠 전부터 이미 나와 있지 않았나?

다른 것들도 있긴 한데, 이 unsloth 버전은 나온 지 몇 시간밖에 안 됐어.

'-shared'랑 아닌 거 차이 알아낸 사람 있음?

https://github.com/unslothai/llama.cpp/pull/142 여기 확인해봐.

아직 llama.cpp에 해당 기능이 머지 안 된 줄 알았는데. 꽤 괜찮은 기능들이 몇 개 들어올 예정이라 속도 좀 빨라질 듯. 내 장비로는 9t/s밖에 안 나오거든.

shared랑 아닌 거랑 차이가 뭐임?

원문r/LocalLLaMA

지금 같이 볼 만한 글

r/LocalLLaMA•약 18시간 전

GPT-3 오늘부로 서비스 종료

GPT-3 서비스 종료에 대한 아쉬움과 함께, 기업의 일방적인 모델 폐기 정책을 비판하며 로컬 모델 보존의 중요성을 강조하는 반응들.

GPT-3 서비스 종료에 대한 아쉬움과 함께, 기업의 일방적인 모델 폐기 정책을 비판하며 로컬 모델 보존의 중요성을 강조하는 반응들.

612136

Reddit 원문

r/ChatGPT & r/OpenAI•약 11시간 전

끝이 없네

AI의 능력과 한계를 둘러싼 커뮤니티 내의 끊임없는 논쟁과 반목을 다룬 포스트입니다.

AI의 능력과 한계를 둘러싼 커뮤니티 내의 끊임없는 논쟁과 반목을 다룬 포스트입니다.

764149논쟁

Reddit 원문

r/ClaudeAI•1일 전

Anthropic이 학습 단계에서 사소한 디테일까지 얼마나 신경 썼는지 보여주는 증거

Anthropic의 모델이 그동안 과도하게 사용하던 em dash(—)를 줄이는 등 세밀한 개선을 이뤄낸 것에 대한 사용자들의 긍정적인 반응입니다.

This is proving how Anthropic was taking even small details seriously during the training phase

Anthropic의 모델이 그동안 과도하게 사용하던 em dash(—)를 줄이는 등 세밀한 개선을 이뤄낸 것에 대한 사용자들의 긍정적인 반응입니다.

1787110

Reddit 원문

커뮤니티 전체 보기

원문