r/LocalLLaMA•6개월 전•116•10
DeepSeek 저장소 업데이트: Mega MoE 테스트 중
DeepSeek Updated their repo DeepGEMM testing Mega MoE
핵심 요약
DeepSeek가 DeepGEMM 저장소를 업데이트하며 차세대 대형 MoE 모델인 'Mega MoE'를 준비 중인 정황이 포착되었습니다.
- DeepGEMM 업데이트 — Mega MoE 최적화 및 테스트를 위한 코드 변경 사항이 확인됨.
- 차세대 모델 암시 — P4, 분산 통신, Blackwell 최적화 등을 통해 V3보다 큰 모델을 준비 중인 것으로 보임.
- FP4 양자화 — 모델 규모가 매우 커서 효율적인 추론을 위해 FP4 양자화가 필수적으로 적용될 예정임.
https://github.com/deepseek-ai/DeepGEMM/pull/304
Mega MoE는 여전히 개발 및 최적화 중이니 계속 지켜봐 주세요. 최적화 아이디어는 언제나 환영입니다! 주의: 이번 릴리스는 DeepGEMM 개발과 관련된 내용일 뿐이며, 내부 모델 릴리스와는 아무런 관련이 없습니다.
"P4 + Mega MoE + 분산 통신 + Blackwell 적응 + HyperConnection 학습 지원" — 이 조합은 다음을 시사합니다:
- DeepSeek는 V3보다 큰 MoE 모델을 학습/배포할 준비를 하고 있습니다.
- 모델이 너무 커서 효율적인 추론을 위해 FP4 양자화가 필요합니다.
- Blackwell을 위해 하드웨어 수준의 최적화가 구체적으로 구현되었습니다.
"Mega"라는 단어는 DeepSeek V4가 매우 거대한 모델임을 나타내는 것으로 보입니다.
