r/LocalLLaMA•2개월 전•837•297논쟁
Anthropic과 OpenAI에 비법 같은 건 없다
Anthropic and OpenAI don't have secret sauce
핵심 요약
AI 모델의 성능은 비법보다는 단순히 규모와 컴퓨팅 자원, 그리고 합성 데이터 파이프라인의 차이에서 온다는 의견이 지배적입니다.
- 규모의 경제 — 모델 성능은 파라미터 수와 컴퓨팅 자원 규모에 비례함
- 합성 데이터 — 고도화된 합성 데이터 파이프라인이 모델 학습의 핵심임
- 기술적 평준화 — 독립적인 연구소들도 유사한 결과에 도달하며 비법이 없음을 증명함
- 인프라 접근성 — 컴퓨팅 자원 확보 능력이 향후 모델 경쟁의 진정한 해자임
항상 이런 생각을 해왔지만 증명할 방법이 없었음. Anthropic과 OpenAI는 사실 특별한 비법 같은 건 없고, 그들의 해자는 단순히 규모의 경제라고 생각함. 소문에 따르면 Opus는 5T 파라미터, Mythos와 Fable은 10T 파라미터 모델이라고 하는데, 오픈 모델들은 오랫동안 1T 미만에 머물러 있었음. 최근에야 DeepSeek V4와 Kimi K3가 그 한계를 깼고, 파라미터 크기가 커짐에 따라 성능이 크게 도약하는 걸 목격했음. 다들 어떻게 생각함?
