llama.cpp just added MTP / DSpark support for DeepSeek V4 Flash
llama.cpp가 DeepSeek V4 Flash 모델의 MTP 및 DSpark 추론 가속을 지원하며 성능 향상을 확인했습니다.
github.com
원문 사이트로 이동
사용자들은 MTP와 DSpark를 활용한 추론 속도 향상에 매우 긍정적이며, 특히 특정 기여자의 모델을 활용한 최적화 설정 공유가 활발히 이루어지고 있습니다.
내가 파악하기로는 현재 GGUF에는 드래프터가 포함되어 있지 않아서, 아직 좀 더 기다려야 할 듯.
Unsloth의 카드에 따르면:
DeepSeek-V4-Flash-0731은 DeepSeek-V4-Flash의 공식 릴리스로, 프리뷰 버전을 대체하며 에이전트 능력이 상당히 향상되었습니다. 이 모델은 DeepSeek-V4-Flash-DSpark와 동일한 모델 구조를 가지고 있으며, 즉 추론 가속(speculative decoding) 모듈이 포함되어 있습니다.
Unsloth 카드에 있는 그 부분은 DeepSeek의 원본 모델 카드를 그대로 복사한 거라, DSpark 모듈이 포함되어 있다는 주장은 Unsloth의 GGUF 파일이 아니라 원본 모델 파일에 대한 이야기임.
원본 모델 파일의 마지막 샤드에 있는 이 "mtp" 레이어들이 DSpark라고 추측함:
https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash-0731/blob/main/model-00048-of-00048.safetensors
그건 좀 의심스러운데, DSpark를 활성화해도 아무런 차이가 없거든.
그리고 네가 인용한 건 Unsloth의 카드가 아니라 DeepSeek 카드에서 복사해 온 부분이야.
나도 draft-dspark를 추가했을 때 차이를 못 느꼈어:
~/sw/llama-vulkan/bin/llama-server -lv 4 --offline -hf unsloth/DeepSeek-V4-Flash-0731-GGUF -c 20000 --rpc 169.254.246.172:50052 -dev Vulkan0,Vulkan1,RPC0,RPC1 -ngl 99 --no-mmap --host 0.0.0.0 --port 8080 --webui-mcp-proxy --metrics --tools get_datetime -fi
t on --spec-type draft-dspark --spec-draft-n-max 5
프롬프트는 간단하게 "hi"로 했고 지금 요약을 위해 댓글 20개를 입력하고 있는데, 속도가 별로 안 좋아. 아마도...
좋아, 이번 릴리스는 별로 마음에 안 드네.
내 MCP 도구 호출(로컬 위키피디아용)이 깨졌고, 계산기랑 random_n 함수를 위한 이전 C++ 패치들도 깔끔하게 적용이 안 됐어. 웹 UI도 업데이트됐는데 솔직히 별로야(PP 속도가 숨겨졌음).
백업으로 복구했고 오늘 브라우저 캐시도 싹 지울 예정.
작업 내용에 따라 다르기도 해. 코딩은 보통 생성 시 tk/sec 향상이 훨씬 큰 편인데, 다른 주제들은 달라. 예를 들어 창의적 글쓰기는 MTP 드래프팅의 이점을 덜 받는 편이지.
dspark gguf 따로 추가해야 하는 거 아님? 메인 모델에는 포함 안 된 거 같은데
다들 그렇게 생각하는 것 같네. 난 별로 낙관적이지 않음. 내 MiMo V2.5 Q6 모델 돌릴 때 컨텍스트를 그보다 낮게 설정해야 했거든. 안 그러면 모델 로딩 끝날 때 이상한 에러가 떴음(몇 기가바이트 할당이 안 된다고). 난 RPC를 써서 그냥 바로 작동하는 걸 선호함. 안 그러면 llama.cpp 업데이트될 때마다 이상하게 꼬일 수 있으니까(그래서 잘 돌아가는 버전은 보통 백업해둠. OS 레벨에서 하는 법은 아직 배워야 하지만).
DSpark 모델용으로 이 스레드에 am17an이 올린 걸 써봐. 나한테는 MTP 모드보다 훨씬 빨랐어.
이 두 개가 있는데, "Abliterated Quality128"랑 "Abliterated Headroom128" 얘네가 DSpark 지원하는 gguf 포함하고 있음
너네 DSpark 모듈이 llama.cpp랑 호환이 안 되는 것 같은데: llama_model_load: 모델 로딩 에러: 알 수 없는 모델 아키텍처: 'deepseek4-dspark'
llama.cpp용 보조 dspark gguf를 제공했고 리드미도 업데이트했음
와 대박! 공유해줘서 고맙고, am17an에게 영광을! 다시 한번!
그 친구가 내 행복의 상당 부분을 책임지고 있는 것 같은 느낌이야 ㅋㅋ
사용자가 자신의 타이핑 속도를 측정해 LLM의 토큰 생성 속도(t/s)와 비교하는 웹 도구를 만들어 공유했습니다.
사용자가 자신의 타이핑 속도를 측정해 LLM의 토큰 생성 속도(t/s)와 비교하는 웹 도구를 만들어 공유했습니다.
Opus 5.5를 사용해 14만 줄 이상의 코드를 삭제한 스크린샷에 대해 사용자들은 구체적인 설명이 없다며 회의적인 반응을 보임.
Opus 5.5를 사용해 14만 줄 이상의 코드를 삭제한 스크린샷에 대해 사용자들은 구체적인 설명이 없다며 회의적인 반응을 보임.
