r/LocalLLaMA•약 2시간 전•111•64논쟁
Artificial Analysis(AA)가 점점 이상해짐. '가장 매력적인 사분면'에 오픈 웨이트 모델이 하나도 없음.
AA is getting ridiculous now. Zero open weights in the Most Attractive Quadrant.
핵심 요약
AA의 벤치마크 차트에서 오픈 웨이트 모델이 배제되고 특정 기업 모델만 편향적으로 높게 평가받는다는 의혹이 제기되었습니다.
- 벤치마크 편향성 — AA의 최신 버전 차트에서 오픈 웨이트 모델이 '가장 매력적인 사분면'에서 완전히 사라짐
- 데이터 조작 의혹 — 특정 기업의 모델만 벤치마크 업데이트 이후 성능이 급상승하는 패턴이 관찰됨
- 실제 체감 성능 차이 — 사용자들이 AA의 비용 및 성능 지표가 실제 사용 경험과 크게 다르다고 지적함
- 오픈 웨이트 보호 — 오픈 웨이트 모델이 주목받지 않아야 규제로부터 자유로울 수 있다는 의견이 제시됨
AA가 지수 개편했을 때 음모론 나오는 거 보고도 난 항상 아니라고 생각했거든? 근데 v5.0 보니까 AA의 '가장 매력적인 사분면(Most Attractive Quadrant)'에 오픈 웨이트 모델이 하나도 없네. 파레토 라인 근처는커녕 아예 씨가 말랐음.
예전 버전은 그래도 DeepSeek, GLM, Kimi, Qwen 같은 모델들이 매력적이거나 흥미롭다는 건 인정해 줬잖아. 이제 AA 지수는 그냥 거르고 보조 벤치마크나 확인해야겠다.
수정: 점수 계속 올라올 때 스크린샷 찍어둔 건데, 지금도 업데이트 중이긴 하거든? 근데 패턴은 똑같음. 가장 매력적인 구역에 오픈 웨이트 모델은 여전히 없음.
처음엔 내가 실수로 필터 걸어둔 줄 알았는데, 다른 브라우저로 시크릿 창 띄워서 봐도 차트가 휑하네. AA가 실시간으로 점수 반영 안 하고 나중에 한꺼번에 업데이트하려고 그러는 건가 싶기도 하고.
