DeepSeek V4, PR merged into llama.cpp !
DeepSeek V4가 llama.cpp에 공식 병합되어 이제 로컬 환경에서 GGUF 모델을 실행할 수 있게 되었습니다.
DeepSeek V4의 llama.cpp 통합에 대해 사용자들은 실제 성능을 공유하거나 향후 아키텍처 활용 가능성을 긍정적으로 평가하고 있습니다.
최신 llama.cpp와 호환되는 GGUF 모델을 어디서 찾을 수 있나요? 아무 포크나 쓰지 말고요.
sokann 모델도 좋아하지만 아직 안 써봤어요. 깃허브 PR 토론에서 fairydreaming이 쓰던 것과 비슷해 보이는 구버전을 썼습니다. 3090TI 24GB VRAM, 96GB DDR5@6400MT/s, AMD 9950X 환경에서 대충 최적화 안 된 명령어로 테스트했을 때 프롬프트당 초당 약 15토큰 생성됐습니다.
https://huggingface.co/antirez/deepseek-v4-gguf/tree/main
model=/mnt/ai/models/antirez/deepseek-v4-gguf/DeepSeek-V4-Flash-IQ2XXS-w2Q2K-AProjQ8-SExpQ8-OutQ8-chat-v2-imatrix. …
DS4 flash용 퀀트 모델을 만들 계획인가요? 업스트림 모델이 이미 4비트 양자화된 것 같은데, BF16 가중치 없이 어떻게 진행해야 할지 모르겠네요.
안녕 tarruda, 반가워! 아니, 아쉽게도 아직 대형 원격 하드웨어에 접근할 방법이 없어서 당분간 퀀타이징은 쉬고 있어. 만약 Qwen3.7-27B 나오면 내 게이밍 PC로 퀀타이징 시도해 볼지도 모르겠네 하하... Kimi-K2도 llm-compressor 프로젝트의 config.json에 정의된 대로 int4 routed experts와 함께 출시됐어. 그 경우엔 convert_hf_to_gguf.py가 전체 bf16 GGUF로 업캐스트해 줄 테니, 그걸 사용해서 원하는 대로 퀀타이징하면 돼. 기억하기론 예전 deepseek는 파이썬 스크립트가...
지금 safetensors 다운로드 중이고 antirez가 올린 imatrix 사용해서 한번 해보려고. 고마워!
성공! outtype을 BF16으로 지정해서 변환 스크립트를 돌려봤는데, 아무 효과가 없는 것 같음: 결과물 가중치가 여전히 대부분 mxfp4 GGUF이고 용량도 150GB 정도임. 양자화하려면 llama-quantize에 --allow-requantize 옵션을 줘야 함. 램이 128GB밖에 안 되는데도 llama-imatrix에 --mmap 옵션을 써서 (네가 준 캘리브레이션 데이터 txt 파일 사용함!) imatrix를 생성하는 데 성공함. 가중치 일부가 디스크에 남아있어서 시간이 좀 걸렸지만, 몇 시간 만에 끝났음. iq3_xxs 만드는 데 성공함…
오, antirez가 커스텀 GGUF 형식을 쓴 줄 알았는데, 그럼 메인스트림 llama.cpp랑 호환되는 건가요?
호환되는 것 같긴 한데, 가끔 pi에서 </think>를 출력해서 다른 채팅 템플릿이 필요할 수도 있어요. 지금 확인 중입니다. 수정 그냥 포함된 채팅 템플릿 파일을 참조하면 됐네요, 명령어를 업데이트해서 표시했습니다.
한 달 전에 그 GGUF로 'ds4 dwarf-star-4'를 시도해봤는데 거의 안 돌아가더라고요. 이미 다운로드해 둔 게 있어서 테스트해봤는데 지금까지는 괜찮네요.
챗 템플릿 어디서 구했어? 못 찾겠네.
난 llama.cpp 소스에 있는 거 썼어:
llama.cpp/models/templates/deepseek-ai-DeepSeek-V4.jinja
이거 맞는 거지?
네, llama.cpp에서 git pull 하면 바로 쓸 수 있어요.
어라, 내 3080 20GB 두 장(총 40GB)이랑 96GB DDR5 6000C40 조합으로 8 tps 나오네. 9800x3d 쓰고 있긴 한데, 코어는 0.5배 더 많음.
https://huggingface.co/huihui-ai/Huihui-DeepSeek-V4-Flash-abliterated-ds4-GGUF/
난 잘 작동하는데 mtp 파일은 안 되네.
드디어 나왔네! Deepseek를 로컬에서 돌릴 하드웨어가 생기면 5~10년 뒤에 다시 보자고.
SSD 스트리밍을 활용해 VRAM 용량을 초과하는 대형 MoE 모델을 저사양 하드웨어에서 구동하는 추론 엔진을 개발함.
SSD 스트리밍을 활용해 VRAM 용량을 초과하는 대형 MoE 모델을 저사양 하드웨어에서 구동하는 추론 엔진을 개발함.
사이버 보안 전문가가 Claude를 활용해 며칠 걸리던 고난도 CTF 문제를 단 2시간 만에 해결한 경험담.
사이버 보안 전문가가 Claude를 활용해 며칠 걸리던 고난도 CTF 문제를 단 2시간 만에 해결한 경험담.
Google이 예고 없이 AI Plus 요금제에서 Pro 모델 접근 권한을 제거하여 사용자들의 불만이 폭주하고 있습니다.
Google이 예고 없이 AI Plus 요금제에서 Pro 모델 접근 권한을 제거하여 사용자들의 불만이 폭주하고 있습니다.