ArtificialAnalysis는 오픈 웨이트 모델에 편향되어 있나?

틀린 말은 아니지만, 그들의 점수 체계는 중국 모델들이 딱히 집중하지 않는 경제, 법률, '전략 및 운영' 같은 분야의 영향을 많이 받아요. 이런 분야는 정답 기준이 훨씬 모호하죠. 법률만 봐도 미국 모델이 미국 법에 더 잘하는 건 당연한데, 미국 외 사람들이 왜 그걸 최적화하는 데 신경 써야 하죠?

전략이나 경제도 마찬가지예요. 실제 지식 없이도 벤치마크 점수만 올리기 쉬운 분야죠. 단 한 번의 대화로 모델이 실질적인 경제나 전략 조언을 해줄 수 있다고 믿는 사람은 별로 없을 겁니다. 모델은 사람이 가진 방대한 배경지식이나 수십 년의 경험이 없으니까요.

가끔 AA가 "어, 이건 좀 아닌데" 싶어서 인덱스를 다시 짜야겠다고 생각하는 것 같은 느낌을 받을 때가 있음. 근데 그게 바로 AA가 신뢰할 수 없고 편향됐다고 주장하는 이유 중 하나임. 중국 모델이 분명 앞서지 말아야 할 모델들을 앞서고 나서야 조치를 취하는 것 같아서 더 의심스러움.

딴소리 좀 하자면, 벤치마킹 관련해서 말인데, 구형 모델이랑 신형 모델 비교하는 건 진짜 어려움. 구형 모델은 최신 공개 평가 데이터로 학습되지 않았을 테니까. 두 모델 다 학습 데이터에서 본 적 없는 평가 데이터가 필요할 거임.

그게 다가 아니라는 거 아시잖아요. 어떤 점수에 가중치를 둘지 자의적으로 결정한다는 거요. 우리 모두 중국 모델이 아직 뒤처져 있다는 건 알지만, 그렇다고 리더보드가 편향되지 않았다는 건 아니죠. 어떻게 편향됐는지 증명할 순 없어도, 정황상 충분히 유추할 수 있잖아요. 오픈 웨이트 모델이 폐쇄형 모델만큼 좋다고 말하는 사람이 없는데, 왜 현실 부정이라고 하죠? 허수아비 때리기 하지 마세요.

문제는 다들 벤치마킹에만 목을 맸다는 거임. 예를 들어 Kimi 3.1은 벤치마크에 과적합돼서 질문만 살짝 바꿔도 똑같이 틀린 답을 내놓음. 그래서 일반적인 성능을 더 잘 보여주려고 벤치마킹에 너무 치중됐거나 조작하기 쉬운 벤치마크들을 제거한 거임.

Kimi 3.1이랑 Gemini는 여전히 상위권인데 얘네도 벤치마킹에 목맨 애들임... 그냥 중국 연구소들이 그동안 신경 안 썼던 부분들을 테스트하는 것뿐임. 모델 성능을 전반적으로 더 다듬어줄 순 있겠지만, 지금 기업들이 보안 능력 같은 걸 줄이고 있어서 보안 구멍이 더 생기는 걸 내가 원하는 건지 잘 모르겠음.

모델에 보안 취약점이 포함되는 문제가 실제로 있었는데, 왜 업계 전체가 보안을 제거하는 게 해결책이라고 생각하는지 모르겠음...

버그를 유발하는 모델을 도대체 누가 씀? 보안이 잘 된 모델은 계속 비공개로 둘 생각인가?

맥주 한잔하면서 얘기하면 잘 통할 것 같네요. 전적으로 동의합니다.

전혀 사실이 아님.

난 중국 오픈소스 모델이랑 서구권 폐쇄형 모델 둘 다 쓰는데, 폐쇄형 모델이 좀 더 다듬어져 있고 전반적으로 쓰기 편한 건 맞지만 그 차이는 그냥 겉보기 수준임. 실질적인 작업 처리 능력 면에서는 오픈 웨이트 모델이랑 폐쇄형 모델이랑 거의 차이 없음.