Artificial Analysis의 대안이 있을까?

그게 정말 그렇게 의심스러운 일인지는 잘 모르겠음. 벤치마크가 포화 상태에 이르면, 리더보드 상위권 모델들은 자연스럽게 서로 비슷해 보일 수밖에 없음. 그러다 포화된 벤치마크가 더 어렵고 포화되지 않은 새로운 것들로 교체되면 다시 격차가 벌어지는 거지.

AA가 괜찮을 수도 있지만, 현실은 그들의 결과에 너무나 편리한 우연의 일치가 많아서 대안을 고려해보고 싶은 마음이 드는 게 사실임.

대부분의 경우, 방법론이 변경된 후 최신 OAI 및 Anthropic 모델들은 더 높은 점수를 받거나 최소한 동일한 점수를 유지하는 반면, 다른 모델들은 그대로거나 점수가 떨어짐.

그래서 현재로서는 다음과 같은 의문이 드는 게 너무나 당연함,

• "왜 최신/상위 OAI/Anthropic 모델들은 업데이트 후에 점수가 나빠지는 경우가 단 한 번도 없는가?" 예를 들어, AA v4.1 - v4.3에서 Astra는 파레토 프론트로 급상승하고 Fable은 훨씬 매력적으로 보이지만, 나머지는 기껏해야 비슷하거나 점수가 떨어짐.

• 또는 "왜 방법론 업데이트는 항상 신규 모델 출시 직후에 일어나는가?" 이건 마치 벤치마크를 숨겨진, 어쩌면 무의식적인 모델 순위 기대치에 맞추려고 조정하는 것처럼 느껴질 수 있음.

이 결과들이 완벽하게 사실이고 모델들의 위치를 정확히 반영한다 하더라도, 여전히 "수상해 보이는" 건 어쩔 수 없음.

그들은 방법론을 공개하고 있음. 어떤 대안이든 최소한 그 정도의 투명성은 갖춰야 할 것임.

그 정도의 투명성을 갖추는 것뿐만 아니라, 거대 AI 연구소의 이사회 멤버가 배후에 없어야 함.

OpenAI 이사회 멤버가 Artificial Analysis의 거대 후원자인데, 이런 식의 오염 사례는 더 찾을 수 있을 거라 확신함. 참고로 OpenAI는 곧 IPO를 앞두고 있음.

사람들이 이제야 그들의 실체를 깨닫기 시작해서 다행임. 여기저기 올라오는 걸 보면서 나만 미친 건가 싶었거든. 새로운 로컬 AI 애호가들과 유튜버들이 유입되면서 AA에 대한 기존의 합의가 묻혔던 것 같음.. 아무튼

https://www.vals.ai/benchmarks/cyber_offense

현재로선 Val’s가 "최고"라고 생각함. 더 정확하다고 느낌. 그들의 인덱스와 다른 카테고리들을 확인해 보길. 필터를 조절하면서 직접 확인해 보는 걸 추천함.

예전에는 dubesor나 UGI 리더보드를 참고해서 빠르게 훑어보곤 했음. 지금은 폐쇄적인 커뮤니티나 토론에서 나오는 합의가 가장 정확함. 나도 유튜브에서 bijan의 영상을 빠르게 훑어보거나 건너뛰면서 확인하곤 함.