Opus 5의 뛰어난 성능? 가스라이팅일지도

ultrahigh로 돌려도 도저히 못 써먹겠음...

난 지금 5.6 sol로 Claude가 짠 코드를 전부 검사하고 있는데, 문제를 꽤 많이 찾아내더라.

Sol은 내가 시킨 일을 안 하려고 아주 창의적인 방법을 다 씀. 내 기준을 멋대로 다른 걸로 바꿔치기하고 말도 안 해주는 패턴이 있음. 다른 에이전트 하나 더 써서 얘 결과물 다 검수하는 게 좋을 거임. 교차 검증 없이는 AI 그 무엇도 믿으면 안 됨.

나도 마찬가지임. 이번 새 모델 나한테는 아예 못 써먹을 수준임.

또 기대치에 못 미치는 다른 모델들 있어?

아직 안 써봤어. Fable이 내 토큰을 다 잡아먹고 있어서... 궁금한 게 있는데, 따로 돌려보는 벤치마크가 있어 아니면 그냥 일반적인 관찰이야?

그냥 일반적인 관찰이야. 지난 몇 주 동안 Opus로 집중적으로 작업하면서 좋은 결과를 냈거든. 근데 Claude를 업데이트하고 나니까 그냥 새로운 (더 낮은) 리그가 된 느낌이었어.

ㅋㅋ 난 Opus를 오랫동안 써왔는데, 소비자용 모델 중에서는 꽤 괜찮은 편이긴 하지만 응답 품질이 아주 들쭉날쭉했어. 가끔은 놀라울 정도로 좋다가도 반대일 때도 있고. 보통은 꽤 괜찮았지만. 토큰 문제는 겪어본 적 없는데 난 Max를 쓰고 있고 헤비 유저는 아니라서 그럴지도.

반면에 Fable은: 품질 차이가 정말, 정말 커. 매번 실행할 때마다 아주 좋아. 불행히도 내가 써본 그 어떤 것보다 토큰을 빨리 잡아먹어. ...