r/ClaudeAI•4개월 전•197•68논쟁

왜 출시할 때마다 성능이 더 떨어지는 거지?

How are they getting worse with every release lol?

핵심 요약

Claude의 최신 모델 성능 저하 논란과 함께, LLM 평가 방식인 아레나 리더보드의 신뢰성을 두고 사용자들 간의 열띤 토론이 이어지고 있습니다.

성능 저하 의혹 — 모델 업데이트마다 성능이 퇴보한다는 사용자들의 불만 제기됨
아레나 신뢰성 — 블라인드 테스트 방식인 아레나 리더보드의 유효성을 두고 의견이 갈림
평가 기준 논쟁 — 벤치마크 점수보다 실제 사용자의 체감 성능이 중요하다는 의견이 지배적임
모델 평가의 어려움 — 특정 사용 사례에 따른 모델 성능 측정의 주관성이 강조됨

하지만 지금 아레나 리더보드 상위 6개 자리를 전부 휩쓸고 있다는 건 꽤 인상적이긴 해.

원문

커뮤니티 목록

r/ClaudeAI•4개월 전•197•68논쟁

왜 출시할 때마다 성능이 더 떨어지는 거지?

How are they getting worse with every release lol?

핵심 요약

Claude의 최신 모델 성능 저하 논란과 함께, LLM 평가 방식인 아레나 리더보드의 신뢰성을 두고 사용자들 간의 열띤 토론이 이어지고 있습니다.

성능 저하 의혹 — 모델 업데이트마다 성능이 퇴보한다는 사용자들의 불만 제기됨
아레나 신뢰성 — 블라인드 테스트 방식인 아레나 리더보드의 유효성을 두고 의견이 갈림
평가 기준 논쟁 — 벤치마크 점수보다 실제 사용자의 체감 성능이 중요하다는 의견이 지배적임
모델 평가의 어려움 — 특정 사용 사례에 따른 모델 성능 측정의 주관성이 강조됨

하지만 지금 아레나 리더보드 상위 6개 자리를 전부 휩쓸고 있다는 건 꽤 인상적이긴 해.

주요 댓글

r/claudeai

모델 성능 저하에 대한 불만과 함께, 아레나 리더보드의 평가 방식이 객관적인지 아니면 단순히 인기 투표에 불과한지를 두고 사용자들 간에 의견이 팽팽하게 맞서고 있습니다.

115

스포일러: 성능이 떨어지는 게 아니라, 리소스를 덜 쓰게끔 조정하는 거야.

아레나 AI는 완전히 무의미함.

내 말은, 정말 그런가? 표준화된 테스트는 아니지. 하지만 사용자들이 하나를 다른 것보다 선호한다고 말하는 건 꽤 가치 있는 거 아냐?

그렇지 않아. 이건 인기 투표일 뿐이고 사람들이 더 까다로워진 걸 수도 있지. 아니면 '새로운' 모델이 별로라고 느껴서 높은 점수를 덜 주는 걸 수도 있고. 난 거의 본 적 없는데, 4.6이랑 4.7에서 했던 작업들을 다시 해보니까 몇 가지 문제를 찾아내서 더 잘 고쳐주던데.

-5

원문r/ClaudeAI