Opus 5: 더닝-크루거 효과로 스스로 똥구덩이에 처박힐 만큼만 똑똑함.
Opus 5: just smart enough to Dunning-Krueger itself deep into rabbit holes of shit.
핵심 요약
Opus 5가 복잡한 작업에서 실수를 인지하지 못하고 잘못된 해결책을 제시해 프로젝트에서 퇴출했다는 내용.
- Opus 5 성능 저하 — 복잡한 작업에서 실수를 인지하지 못하고 잘못된 해결책을 제시함.
- 프로젝트 퇴출 결정 — 실행 부채를 유발하는 Opus 5 대신 Fable 5와 하위 모델을 조합하기로 함.
- 자기 인식 부족 — 가드레일을 설정해도 교묘하게 빠져나가며 엉뚱한 결과를 도출함.
- 모델 비교 분석 — Fable 5의 검토 결과 Opus 5의 답변이 완전히 틀렸거나 부적절함이 드러남.
800개 이상의 인용이 포함된 100권 이상의 책을 다루는 연구 프로젝트를 진행 중인데, Opus 5에서 계속 문제가 발생해 프로젝트에서 완전히 배제하기로 함.
Anthropic이 Opus 4.8에 추론 능력을 강화해 Fable 5를 쓰지 않고도 적당히 "탄탄한" 판단이 필요한 작업을 처리하게 하려던 의도였던 것 같음.
문제는 Opus 5가 Fable 5의 영역에 발을 들일 만큼은 똑똑한데, 막상 문제가 생기면 자기가 망하고 있다는 사실조차 모를 정도로 멍청하다는 것임. 실수를 저지르고 나중에야 발견하거나, 심각성을 낮게 평가하고 엉터리 해결책을 내놓음. Fable 모델로 검토해보면 완전히 틀렸거나 문제 해결에 전혀 도움이 안 됨. 심지어 '오피(Opey)'라고 부르는 Opus 5는 인지조차 못 하는 추가적인 문제점들이 발견됨.
Fable을 붙여서 감시하게 하고 세부 계획까지 세워봤지만, 이 멍청한 놈은 가드레일을 교묘하게 빠져나감. 이제 지쳤음. 차라리 조금 멍청해도 자기 객관화가 되는 Opus 4.8을 쓰는 게 나음. Opey 때문에 나중에 더 큰 모델로 수습해야 할 실행 부채만 쌓임.
Opus 5는 완전히 손절하고 Fable 5와 하위 모델들을 조합해서 작업할 예정임. GPT로 옮기는 것도 고려 중.
