Anthropic 모델이 '너프'되었다는 증거를 본 적 있는 사람?

오, Opus 5에 대한 내 첫인상은 부정적인 놀라움이었음. "여기 버그가 있으니 이렇게 고쳐"라는 내 지시를 따르지 않고 계속 문제를 일으켰거든.

확률적 앵무새 같은 거지.

변수가 너무 많아서, 정말로 아무것도 바꾼 게 없는데 완전히 다른 결과가 나오는 경우가 얼마나 되는지 궁금함.

이 서브레딧 중 하나에 Opus 5의 장황한 주석에 대해 정당하게 불평하는 글이 있음. 간결한 주석을 달라는 내 규칙을 무시하고 의도를 문서화하더라고. 그래서 그냥 그 빌어먹을 주석 좀 정리하라고 시켰지.

설명 좀 해줄래? 95%가 표준인 것 같은데. 만약 같은 평가를 100번 반복하면, 생성된 구간 중 95개가 실제 모집단 값을 포함하게 될 거 아냐.

그렇긴 한데 그 95%가 넓은 범위를 커버할 수 있지. 이 경우에는 70%에서 90%까지처럼 말이야.

2026년 2월부터 지금까지 통과율이 48%에서 87.8%까지 왔다 갔다 함. 같은 평가 세트를 사용해서 매일, 매주 테스트를 돌리고 있거든.

나도 놀라움. 왜 그런 것 같아? 진심으로 궁금해서 물어보는 거임.