DeepSeek, 2T 파라미터 모델 훈련 중이며 8T 모델까지 계획 중

상관없음. 비용이랑 지능 둘 다 효율적인 모델이 필요함. 새로운 Deepseek 모델들은 계속 가격이 오르는 중이라.

그건 데이터 문제 아닌가?

그래 그래, 근데 이걸 40BA3B로 증류해서 뭐 한 200GB ngram 정도로 만들 수도 있나?

DeepSeek 논문에서 engram은 전체 파라미터 수의 30~70% 정도일 때 가장 효과적이라고 했던 것 같은데. 잘 모르겠네.

DeepSeek V4.2 울트라 프로 맥스

이 서브레딧은 2년 만에 '내 노트북에서 7B 모델 돌릴 수 있을까?' 하던 곳에서 8조 파라미터 로드맵을 논하는 곳이 됐네.

솔직히 우리 대부분은 아직 전자에 머물러 있지.