At this point they sell you the same model for different prices...
사용자들은 Claude 모델이 시간이 지날수록 성능이 저하(nerf)되며, 사실상 같은 모델을 재탕하고 있다고 비판합니다.
파워 유저로서 확실히 말할 수 있는데, 이 모델들은 출시 직후의 짧은 기간과 비교하면 절대 같은 모델이 아님. 시간이 좀 지나면 성능을 심하게 너프(nerf)시키는데, 이건 심리적 효과나 환각이 아님... 이 모델들은 날짜와 시간에 따라 완전히 다른 모델이 됨.
모델 성능 저하와 일관성 없는 서비스 제공에 대해 사용자들은 불만과 회의적인 반응을 보이고 있습니다.
내 말은, UC 버클리 리더보드에 Opus 5조차 없다는 거야. 이미 Qwen 3.8은 올라와 있는데, Opus 5는 거의 쓸모가 없었나 보지? Fabel에는 테스트의 40%가 Opus 4.8이었다는 거대한 경고 문구까지 붙어 있어.
(참고로 그 테스트는 바이오테크를 포함한 산업용 애플리케이션 대상임)
UC Berkeley
이게 무슨 리더보드임?
작성자가 자기 주장을 뒷받침하려고 고른 거겠지.
맞음, 랩들이 벤치마크에 맞춰서 모델을 학습시키는 바람에 이제 벤치마크는 다 믿음이 안 감. 고성능 모델 능력치에 대해서는 벤치마크끼리 서로 모순되는 것 같음.
Agents' Last Exam
이 시점에서는 그냥 증류 모델일 뿐이라 실질적인 발전은 없음
맞아, 근데 그 경우엔 보안 문제 같은 이유로 4.8로 라우팅된다는 명시적인 알림을 받아서 테스트의 40%가 나오는 거잖아. 이건 Fable을 쓰고 있다고 생각했는데 실제로는 아무 고지 없이 양자화된 모델을 제공받는 거랑은 차원이 다르지.
Opus 5 쓰면 내가 똑똑해진 기분이 드는데, 그래서 이게 안 좋은 모델이라는 걸 알겠음.
봐봐, 내 생각엔 그냥 Opus 4.6에 설정만 다르게 해서 파는 것 같음.
Fable = Opus 4.8 튜닝하고 말도 안 되는 안전장치 추가함
Opus 5 = Opus 4.8을 장황하게 말하도록 튜닝함
Sonnet 5 = Opus 4.8을 에이전트 위임용으로 튜닝함
Opus 4.8 = Opus 4.6 다운그레이드 버전
Opus 4.6 = GOAT
이거지. 얘네가 가진 건 그냥 모델 하나인데 컴퓨팅 설정만 다르게 한 거임. Fable 지금 개쓰레기인 게 뭐든 다 지어내고 있음.
최근에 Fable이랑 Opus 5 쓰면서 고생 좀 했음. 전성기 시절 Opus 4.8이 그립다.
ㅇㅇ 지금까지 본 것 중에 제일 적절한 비유네.
다들 4.6 현역일 때 사람들이 불평하던 거 기억함? 난 기억하는데.
4.7은 어디 감?
7이 9를 잡아먹었네
NVIDIA가 에이전트 보안을 위한 오픈소스 샌드박스 'OpenShell'을 공개하며 업계 표준화를 주도하고 있습니다.
NVIDIA가 에이전트 보안을 위한 오픈소스 샌드박스 'OpenShell'을 공개하며 업계 표준화를 주도하고 있습니다.
Claude Opus 5.5의 성능 저하 여부를 실시간으로 추적하는 오픈소스 벤치마크 도구 'LiveNerf'가 공개되어 큰 호응을 얻고 있습니다.
Claude Opus 5.5의 성능 저하 여부를 실시간으로 추적하는 오픈소스 벤치마크 도구 'LiveNerf'가 공개되어 큰 호응을 얻고 있습니다.
