r/LocalLLaMA•19일 전•1465•262

DeepSeek V4-1 Flash 출시

DeepSeek V4-1 Flash is out

핵심 요약

552B 파라미터의 멀티모달 MoE 모델인 DeepSeek V4-1 Flash가 공개되어 로컬 구동 가능 여부와 성능에 대한 논의가 활발합니다.

모델 사양 — 552B 파라미터 MoE 구조와 100만 토큰 컨텍스트 지원함
로컬 구동 — 4비트 양자화 시 175GB 수준으로 256GB 램 환경에서 구동 가능함
성능 평가 — 8B 활성 파라미터 기반의 성능과 효율성에 대해 의견이 갈림
커뮤니티 반응 — 새로운 오픈 웨이트 모델 공개에 대해 긍정적인 기대감을 보임

또 시작이네, DeepSeek가 새로운 모델 V4-1 Flash를 들고 다시 돌아왔다.

552B 백본 파라미터를 가진 멀티모달 Mixture-of-Experts (MoE) 모델이고, 최대 100만 토큰 컨텍스트까지 지원한다.

서비스형 시장 붕괴(Market crash as a service) 수준이네.

원문

커뮤니티 목록

r/LocalLLaMA•19일 전•1465•262

DeepSeek V4-1 Flash 출시

DeepSeek V4-1 Flash is out

핵심 요약

552B 파라미터의 멀티모달 MoE 모델인 DeepSeek V4-1 Flash가 공개되어 로컬 구동 가능 여부와 성능에 대한 논의가 활발합니다.

모델 사양 — 552B 파라미터 MoE 구조와 100만 토큰 컨텍스트 지원함
로컬 구동 — 4비트 양자화 시 175GB 수준으로 256GB 램 환경에서 구동 가능함
성능 평가 — 8B 활성 파라미터 기반의 성능과 효율성에 대해 의견이 갈림
커뮤니티 반응 — 새로운 오픈 웨이트 모델 공개에 대해 긍정적인 기대감을 보임

또 시작이네, DeepSeek가 새로운 모델 V4-1 Flash를 들고 다시 돌아왔다.

552B 백본 파라미터를 가진 멀티모달 Mixture-of-Experts (MoE) 모델이고, 최대 100만 토큰 컨텍스트까지 지원한다.

서비스형 시장 붕괴(Market crash as a service) 수준이네.

주요 댓글

r/localllama

DeepSeek V4-1 Flash의 성능과 모델 크기, 그리고 로컬 구동 가능 여부를 두고 사용자들 사이에서 열띤 토론이 벌어지고 있습니다.

194

듀얼 DGX 스파크에 안 들어가네, 슬프다.

네이티브 4비트 백본 + 비전 + dspark 합치면 ~310GB(나머지는 engram) 나오고, 이 모델은 컨텍스트 비용이 거의 없어서 256GiB 박스면 3.x bpw 양자화로 꽤 괜찮게 돌릴 수 있을 듯.

Expert caching/streaming은 256GB 머신에서 아마 훌륭한 히트율을 보여줄 거임. 마찬가지로 n-gram 테이블도 그냥 mmap()으로 처리하면 될 듯. Qwen3.8-Flash-Next는 n-gram 엔트리 1%만으로도 룩업 확률 90%를 커버하거든. 이제 로컬 추론할 때 모델 전체가 VRAM에 상주해야 한다는 생각에서 벗어나야 함.

SSD ngram 오프로드 쓰면 됨. 가중치 + KV fp4 합쳐서 350B 파라미터 정도니까 아직 기회는 있음.

이 모델 효율적으로 돌리려고 4xRTX3090 빌드 처분하고 2 x spark로 갈아타려고 했거든. 근데 계획 취소함. 지금 다시 4xRTX3090 추가로 살까 가격 알아보는 중... 그동안은 그냥 DDR5에 CPU 오프로딩이나 계속해야지.

131

한편으론: 야호! 웨이트가 나왔다! https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash

다른 한편으론: 485B 파라미터라니 O_o

한 번에 8B 파라미터만 활성화하니까 'Flash'인 거지, 덕분에 API 서비스는 싸게 먹힐 듯.

내 256GB Xeon 서버에는 못 올리겠네. 384GB로 업그레이드해야 할 듯.

sqrt(P x A) 지표로 보면, 비슷하게 학습된 62B 밀집 모델 정도의 성능일 듯. 나라면 차라리 밀집 버전을 쓰겠어!

이제 sqrt(P x A)는 별 의미 없다고 봄, 특히 ngram 임베딩이 섞여 있으면 더더욱. 활성 8B는 더 이상 8B처럼 작동하지 않음. Qwen3.8 flash next가 좋은 예시지. ngram 임베딩 없으면 활성 6B 파라미터가 27B 성능에 근접조차 못 했을걸.

104

지난 2년간 새로운 오픈 웨이트 모델이 나올 때마다 그랬듯, 중국이 또 내 하루를 즐겁게 해주네.

제발 살려주세요, 저 GTX 1650 4GB VRAM에 Intel i7-9750HF, 램 30GB 쓰고 있다고요.

mimicpm5-2b를 돌려라, 안 그러면 호스로 물벼락 맞을 줄 알아라

나 살짝 쌀 뻔했어

아니 미친, 이게 무슨 Flash야? 파라미터가 450-500B인데. Flash는 300B였고 그것도 이미 한계치였어. 이건 Flash Max 같은 거 아님? 모델 크기를 50%나 키워놓고 아무 문제 없다는 듯이 Flash라고 부르면 안 되지. Minimax M3도 450B인데 걔네는 'flash'라고 안 부르잖아 (제발 안 불렀으면 함).

50% 커졌는데 성능은 10-15% 좋아진 거면 업그레이드가 아니라 다운그레이드지. 돌리는 데 돈도 훨씬 많이 들고.

그래도 대단하긴 함.

원문r/LocalLLaMA