AI 경쟁: 중국의 오픈 웨이트 모델, 미국 폐쇄형 모델보다 7개월 뒤처져
The AI race: China's open-weight models trail US closed models by just 7 months
핵심 요약
중국 모델이 미국 폐쇄형 모델을 7개월 차이로 추격 중이라는 분석과 함께, 오픈 소스 AI 리더보드 'whatmodel.sh'가 공개되었습니다.
- AI 리더보드 공개 — 1,000개 이상의 출처와 2만 개 이상의 벤치마크 결과를 통합한 오픈 소스 플랫폼임
- 중국 모델 추격 — 오픈 웨이트 모델이 미국 폐쇄형 모델 대비 약 7개월 정도의 기술 격차를 보임
- 데이터 투명성 — 모든 벤치마크 결과는 출처가 명시되어 있으며 데이터셋과 코드는 오픈 소스로 제공됨
- 기술 격차 논쟁 — 중국이 독자적 개발 없이 증류(distillation)만 하는지, 아니면 자체 연구를 수행하는지에 대한 의견이 갈림
어제 여기 올렸던 내가 만든 오픈 소스 AI 리더보드인 whatmodel.sh야.
모든 데이터 포인트는 공개된 벤치마크 결과에서 가져왔어. 987개 벤치마크에 걸쳐 22,113개의 결과가 있고, 출처는 1,011개인데 전부 어디서 발표됐는지 링크 다 달아놨다.
이 차트는 텍스트 모델 데이터를 쓴 건데, 617개 벤치마크에서 1,211개 모델에 대한 18,755개의 결과야.
- 14,436개의 결과는 독립적인 평가야. 저자들이 직접 모델을 돌린 논문들(대부분 ACL Anthology나 arXiv의 CC BY 논문), Epoch AI, LMArena 데이터셋, EvalPlus, EleutherAI harness 같은 것들이지.
- 7,677개는 연구소들이 자기네 모델에 대해 직접 발표한 점수고, 'lab-reported'라고 표시해 뒀어.
전부 오픈돼 있어. 데이터셋(CC BY-SA 4.0)이랑 채점 코드(MIT)는 https://github.com/jakemanger/whatmodel에 있고, CSV 다운로드는 https://whatmodel.sh/data/manifest.json에서 받을 수 있어. 모든 숫자는 출처로 연결되고, 각 출처의 라이선스도 다 기록해 뒀다.
인터랙티브 버전(모델 클릭하면 점수랑 출처 다 나옴): https://whatmodel.sh/race
써보고 괜찮으면 깃허브에 스타 좀 박아줘!
