최신 모델 평가를 위한 artificialanalysis 대체 사이트 있을까?

난 한동안 livebench만 썼음. 매달 업데이트되니까 arena처럼 순위가 계속 요동치지 않아서 최신 상태를 유지하기 좋더라. AA는 확실히 요즘 들어 메인 페이지를 더 공격적으로 큐레이션하는 느낌임. 저렴한 모델들이 수치는 여전히 경쟁력 있는데도 묻히는 걸 몇 번 봤거든. 아직 완벽한 단일 소스는 못 찾아서 보통 livebench랑 사람들이 직접 평가 올리는 디스코드 채널 몇 군데 교차 검증하는 식으로 씀. 이상적이진 않은데 그럭저럭 쓸만함.

ㅇㅇ livebench 좀 더 자세히 봤는데, 들어가자마자 보이는 타임라인에 1.0에서 2.0으로 언제 업데이트됐는지 명확하게 나와 있고 쉽게 전환도 가능함. 27B가 opus 4.6이랑 4.7 사이에 위치하고, flash next가 4.8이랑 아주 가깝다는 걸 바로 알 수 있고, 각 모델이 어떤 벤치마크 결과를 냈는지 상세하게 같은 라인에 적혀 있음. 그리고 매달 벤치마크 태스크를 업데이트하는 방식도 진짜 아주 좋은 점임.

최상위 모델 몇 개를 왜 삭제했는지 이유 아는 사람?

일반 지능 평가하려면 MathArena나 FrontierMath 같은 수학 벤치마크를 써봐.

그다음 코딩 벤치마크를 확인하거나 직접 코딩해보면서 좋은지 판단하는 게 나음.

난 그냥 '나만의 펠리컨 테스트를 구현하고 내 직감을 믿자'는 주의임.

푸드 트럭 벤치마크.

좋은 곳이긴 한데, 운영자가 회사가 아니라 개인이라 업데이트가 거의 안 돼. 게다가 frontier 모델들 돌리는 비용이 꽤 비싸거든.