r/ChatGPT•약 12시간 전•605•34

구글이 진짜 제대로 해낸 걸까, 아니면 그냥 벤치마크 점수 놀음의 정점을 보고 있는 걸까?

Did Google actually cook, or are we just witnessing peak benchmaxxing?

핵심 요약

구글의 새로운 AI 모델 성능을 두고 벤치마크 수치와 실제 사용 경험 사이의 괴리에 대한 의구심이 제기됨.

벤치마크 신뢰성 — 모델 성능 지표가 실제 사용 경험과 일치하는지 의문이 제기됨.
구글 모델 평가 — 구글의 새로운 AI 모델이 실제 성능보다 수치상으로만 과대평가되었을 가능성이 논의됨.
사용자 경험 — 벤치마크 점수와 달리 실제 대화에서의 인격이나 추론 능력은 여전히 개선이 필요하다는 의견이 있음.

원문

커뮤니티 목록

r/ChatGPT•약 12시간 전•605•34

구글이 진짜 제대로 해낸 걸까, 아니면 그냥 벤치마크 점수 놀음의 정점을 보고 있는 걸까?

Did Google actually cook, or are we just witnessing peak benchmaxxing?

핵심 요약

구글의 새로운 AI 모델 성능을 두고 벤치마크 수치와 실제 사용 경험 사이의 괴리에 대한 의구심이 제기됨.

벤치마크 신뢰성 — 모델 성능 지표가 실제 사용 경험과 일치하는지 의문이 제기됨.
구글 모델 평가 — 구글의 새로운 AI 모델이 실제 성능보다 수치상으로만 과대평가되었을 가능성이 논의됨.
사용자 경험 — 벤치마크 점수와 달리 실제 대화에서의 인격이나 추론 능력은 여전히 개선이 필요하다는 의견이 있음.

주요 댓글

r/chatgpt

구글의 새로운 모델이 실제 사용자 경험보다는 벤치마크 수치에만 치중한 것이 아닌지 의구심을 표하는 반응이 주를 이룸.

두고 보면 알겠지.
진짜 괜찮은 모델이었으면 좋겠다.

솔직히 지금 시점에선 그게 유일하게 솔직한 의견임, 아직 아무도 제대로 모름

-7

내가 틀렸었음. 구글 모델은 구독이 Antigravity 프로그램이랑 묶여 있어서 관심 없음. 예를 들어 VScode 확장 프로그램에서 프로 구독을 사용할 수가 없음. 난 AG가 진짜 싫고 API는 쓰고 싶지 않아서 나한텐 별로임. 구독할 때 이걸 아는 사람이 별로 없음. AI 경쟁에서 선두가 계속 바뀌니까 여러 모델을 쓸 수 있는 프로그램을 원하게 되는 거지.

🔗 antigravity.google

서로 다른 제공업체의 모델을 사용할 수 있는 프로그램을 찾는다면... https://www.reddit.com/r/claudeskills/s/lOTuXwqq0a 콜록 콜록

공개된 벤치마크들은 확실히 점수 놀음이 심함(다들 그러긴 하지만). 그래도 AA(LMSYS Arena) 평가는 꽤 괜찮은 듯. 공개 벤치마크만큼 높진 않지만... 오퍼스, 페이블, 아스트라 바로 다음이네.

그래도 여전히 꽤 괜찮은 수준이지.

써본 사람들 아는데, 확실히 진짜 좋긴 한가 봄

일반 사용자로서 아르곤(argon) 기다리는 중