AI 연구소들이 보고하는 벤치마크 점수가 독립적인 테스트 결과보다 평균 6.4% 높음

단순히 '결과를 부풀린다'는 게 지름길 같은 답이긴 하지만, 패키지 버전, 하니스 설정, 시드 값 차이 같은 미세한 변화들이 이런 결과를 낳는 건 아닌지 궁금하네.

분명히 그게 한몫한다고 봐.

데이터를 훑어보면서 느낀 건데, 다른 연구소가 자기네 점수를 올리려고 원래 모델에 일부러 최적화되지 않은 설정을 적용해서 보여주는 사례들도 있어(이것도 독립적인 벤치마크 범주에 들어가긴 하지).

단순히 '결과를 부풀린다'는 게 지름길 같은 답이긴 하지만

주요 AI 연구소들에 대해 별로 좋게 생각하진 않지만, 대부분의 벤치마크는 진실하다고 믿어. 굳이 그런 걸로 속일 이유가 없거든.

만약 모델이 벤치마크보다 성능이 안 나오면 고객들은 실망할 거고 브랜드 이미지도 나빠질 테니까.

(생각해보면, 현재 모델을 과장해서 홍보하면 다음 모델이 상대적으로 덜 인상적으로 보이게 되니 양날의 검이기도 하지.)

더 흔한 건 '파일 서랍 효과(file drawer effect)'야. 모델이 특정 테스트에서 망치면 그냥 그 결과를 발표하지 않는 거지. 모델 카드들을 보면 유명한 벤치마크들은 이유 없이 건너뛰고 테스트 결과가 꽤 중구난방인 경우가 많아.

패키지 버전, 하니스 설정, 시드 값 차이 같은 미세한 변화들이 이런 결과를 낳는 건 아닌지 궁금하네.

그게 꽤 중요한 것 같아.

MMLU, WinoGrande, ARC Challenge, HumanEval처럼 형식이 고정된 표준 테스트들은 거의 차이가 없지만, SWE-bench Verified의 에이전트 하니스, AIME의 샘플링 및 추론 예산, GSM8K와 MBPP의 퓨샷 프롬프팅처럼 설정 자체가 결과의 일부인 테스트들은 격차가 가장 크게 나타나.

(작성자에게: WinoGrande나 ARC Challenge처럼 몇 년째 사용되지 않고 이미 포화 상태인 오래된 벤치마크들을 굳이 보고할 필요가 있는지 모르겠어. 요즘 트렌드가 어떤지 보여주는 신호가 별로 안 되거든.)

대부분은 그냥 몇몇 이상치(outlier) 때문인 것 같아. 중앙값은 발표된 벤치마크 점수와 비슷할 거야.

애플이나 엔비디아 같은 기업들이 발표 자료에 넣기 좋아하는 그 엉터리 그래프들이랑 똑같아. 동료 평가(peer review)를 거친 것만 믿을 수 있고, 그들이 보여주는 건 항상 자기들에게 유리한 방식으로 수행되었다고 예상해야 해.