r/LocalLLaMA•19일 전•402•90
DeepSeek-V4.1-Flash에 놀라다...
DeepSeek-V4.1-Flash surprised ....
핵심 요약
DeepSeek-V4.1-Flash의 아키텍처와 로컬 구동 가능성에 대한 기술적 논의가 이어지고 있습니다.
- 모델 아키텍처 — MOE 및 Engram 조합을 통한 효율적인 모델 구성 방안이 제시됨
- 하드웨어 요구사항 — 로컬 환경에서 모델을 구동하기 위한 메모리 및 SSD 오프로딩 전략이 논의됨
- Engram 파라미터 — 모델의 메모리 점유율과 Engram 블록의 비중이 주요 쟁점으로 다뤄짐
- 실제 구동 가능성 — 데이터센터급 장비 없이 로컬에서 모델을 실행할 수 있는 최적화에 관심이 집중됨
조만간 모든 최적화/아키텍처 등이 적용된 똑똑한 중형 모델들이 나오길 기대한다. Deepseek 고맙다!
Ex 1: 30-50B MOE + 10-15B Engram + DeepSeek-V4.1-Flash type KVCache
Ex 2: 15-30B Dense + 10-15B Engram + DeepSeek-V4.1-Flash type KVCache
수정: Engram을 50B에서 10-15B로 업데이트함
