Artificial Analysis Intelligence Index v5 (주요 업데이트)
Artificial Analysis Intelligence Index v5 (major update)
핵심 요약
Artificial Analysis의 벤치마크 v5 업데이트가 오픈 웨이트 모델과 폐쇄형 모델 간의 격차를 벌리면서 커뮤니티의 의구심을 사고 있습니다.
- 벤치마크 신뢰도 — 오픈 웨이트 모델의 성능 격차를 인위적으로 벌렸다는 의혹이 제기됨
- 재현성 문제 — 비공개 테스트 세트 비중이 60%로 늘어나 결과 검증이 불가능해짐
- 시장 경쟁 의혹 — 앤스로픽 IPO를 앞두고 폐쇄형 모델에 유리하게 조정되었다는 비판이 있음
- 평가 방식 논란 — 벤치마크 오염 방지를 위한 비공개 데이터 사용이 오히려 정확성 논란을 키움
Artificial Analysis Intelligence Index가 v5로 업데이트됐는데, 얘네 말로는 이번에 대규모 업그레이드라 순위가 훨씬 정확해졌다고 함.
눈에 띄는 건 오픈 웨이트 모델이랑 클로즈드 모델 사이의 격차가 더 벌어졌다는 거임. 벌써부터 모델 직접 써본 사람들 사이에서는 정확도 의심하는 목소리도 나오는 중 (GPT-Terra-6.1 > Fable-5.1 이라니 말이 되냐는 반응).
게다가 이번 v5 업데이트는 인덱스의 60%가 비공개 테스트 셋이나 공개되지 않은 정답지를 기반으로 평가된 거라, 결과를 똑같이 재현하는 건 아예 불가능함.
공지사항 내용은 다음과 같음:
“오픈 웨이트 모델과의 격차가 3점에서 12점으로 벌어짐: Kimi K3.1 Pro(웨이트 미공개)가 46점으로 오픈 웨이트 모델 중 1위. 공개된 웨이트 중에서는 DeepSeek V4.1 Flash 1017 (max)와 GLM-5.3 (max)가 32점으로 선두를 달리고 있는데, 이는 1위와 26점 차이이며 Claude Haiku 5.5 (max, 36점)보다도 낮은 수치임”

