왜 SOTA 오픈 웨이트 모델들은 AA-Omniscience Index에서 (상대적으로) 낮은 점수를 받는 걸까?

나도 같은 생각을 했음. 오픈 모델들이 다른 벤치마크에 비해 여기선 훨씬 못하는 것 같음. 인터넷이 안 되는 비상 상황을 대비한 백업 지식 저장소 느낌으로, SSD에서 스트리밍하더라도 옴니사이언스 점수가 잘 나오는 오픈 모델이 있으면 좋을 텐데.

클로즈드 모델들이 뒤에서 검색이나 RAG 같은 걸 쓰는 건 아닐까 싶기도 함. 아니면 오픈 모델들이 코딩이나 지능보다는 다른 쪽에 집중하고 있어서 그럴 수도 있고.

누가 일반 지식 RAG를 배포해서 사람들이 로컬 LLM이랑 같이 다운받아 쓰게 하면 되지 않을까.

벤치마크가 더 좋은 모델들을 수용하기 위해 업데이트되어서, 이전보다 전반적으로 순위가 낮게 나오는 것 같음

주로 크기와 희소성 때문이지. 내 생각엔 이게 모델 아키텍처와 상관없이 모델 크기를 평가하는 최고의 벤치마크 중 하나야. 구글이 몇 주 만에 3.7에서 3.8 플래시로 도약했으니, 더 큰 모델을 선택한 게 아니라면 뭔가 비결이 있는 걸지도... Gemma 5가 나오면 알게 되겠지.

골대를 옮기다니

진정해. 벤치마크는 이미 포화 상태야. 27b 모델이 2T+ 모델이랑 비슷한 점수를 낼 거라고 진짜 믿는 건 아니지???

이것도 한번 봐봐: https://www.frontierswe.com/blog/v2

이건 계속 반복되는 추세야. 새로운 벤치마크가 나오면 모델들이 쫙 퍼지고, 그러다 작은 모델들이 따라잡고, 다시 새로운 벤치마크가 나오면 또 퍼지고. 실제 사용 환경에서 SOTA는 정말 격차가 커.