Dwarfstar(ds4)용 DeepSeek v4.1 Flash 1017
DeepSeek v4.1 Flash 1017 for Dwarfstar (ds4)
핵심 요약
DeepSeek v4.1 Flash 1017 모델을 Dwarfstar(ds4) 환경에서 구동하기 위한 양자화 버전 공유 및 성능 논의.
- 모델 양자화 — 2비트 라우팅 전문가와 8비트 이상 가중치를 결합한 최적화 구현함
- 하드웨어 요구사항 — 150GB 이상의 백본 모델로 SSD 스트리밍을 통해 128GB 시스템에서 구동 가능함
- 성능 최적화 — M5 Max 환경에서 초당 20토큰의 디코딩 속도를 목표로 함
- 벤치마크 계획 — 기존 모델들과의 비교를 위한 코딩 관련 벤치마크 작업 진행 중임
huggingface.co
원문 사이트로 이동
다들 안녕, 1017용 새 비전 타워를 ds4에서 돌리려고 내가 약속했던 퀀트 적용해서 올린 PR 진행 상황 공유한다. (언어 모델은 이미 로드되는데 비전 쪽은 내 PR이 필요했거든.) antirez가 원래 DS4.1 Q2 만들 때 썼던 레시피 그대로 빌드했어. 2비트 라우티드 익스퍼트에 나머지는 전부 8비트 이상으로 잡고, 원래 FP8 잉그램 테이블이랑 합쳤다. 이게 원래 DS4.1에서도 잘 먹혔는데, 초기 테스트 보니까 이번에도 상태 괜찮네. imatrix는 원래 체크포인트가 아니라 1017로 빌드했음.
모델의 핵심 백본 용량이 150GB가 넘어서, 128GB 시스템에서도 SSD 스트리밍으로 돌리면 라우티드 익스퍼트 대부분을 핫 캐시에 올려둘 수 있어. 덕분에 M5 Max에서 초당 20토큰(20tps)까지 디코딩 속도 뽑힌다. ~200GB짜리 잉그램 테이블은 RAM에 안 올리고 필요할 때마다 SSD에서 페이징해서 가져오는 방식임.
이번 모델은 싹 다 갈아엎어서 라우티드 익스퍼트 텐서의 40%, 잉그램의 30%, 비전 타워 익스퍼트 텐서의 50% 정도가 바뀌었어. 누가 봐도 지금 오픈 웨이트 모델 중엔 이게 대장이라 안 써볼 수가 없더라. 너희도 궁금하면 써보고 의견 좀 알려줘!
