Opus가 점점 멍청해지고 지시사항을 안 따름
Opus is becoming dumb and does not follow instructions
핵심 요약
최근 Claude Opus의 성능 저하와 지시사항 무시, 과도한 안전 정책에 대한 사용자들의 불만 토로.
- 성능 저하 — 최근 Opus가 간단한 문제도 해결하지 못하고 지시사항을 제대로 이행하지 않음.
- 지시사항 무시 — 명확한 가이드라인 문서를 제공해도 이를 무시하고 잘못된 답변을 내놓음.
- 과도한 안전 정책 — 보안 관련 수정 요청이 지나치게 까다롭게 거부되어 업무 효율이 떨어짐.
- 컨텍스트 문제 — 대화가 길어질수록 성능이 저하되는 '컨텍스트 로트' 현상이 발생함.
최근 며칠 동안 Claude Opus가 더 안 좋아졌다고 느낀 사람 있음?
모델을 비난하려는 건 아니지만, 요즘은 간단한 문제조차 너무 많은 대화가 오가야 해결됨. 디버깅을 요청하면 뻔한 문제를 놓치고, 내가 코드 문제를 직접 지적하면 "맞아요, 더 주의했어야 했는데" 같은 소리나 함.
진짜 짜증 남. 더 큰 문제는 지시사항 이행임. 명확한 가이드라인 문서를 주고 "이걸 읽고 단계를 정확히 따라줘"라고 구체적으로 말했음. 문서는 마크다운으로 단계가 명확히 정리되어 있었음.
그런데도 안 따름. "문서 읽긴 했어? 답이 이미 거기 있는데"라고 물어보면, 기본적으로 사과하면서 추측하지 말고 더 주의 깊게 읽었어야 했다고 함.
이 시점에서 우리가 어떻게 결과물을 믿음?
모델들은 유용하지만, 지시사항을 자신 있게 건너뛰고, 제공된 문서를 무시하거나 기본적인 코드 문제를 놓치면 실제 업무에 의존하기 어려움.
Anthropic이 안전과 보안에 너무 치중해서 제품 경험이 오히려 나빠지는 것 같음. 때로는 정상적이고 합법적인 요청인데도 기본적인 보안 관련 수정이 차단되거나 지나치게 조심스럽게 처리됨.
1인 기업가나 소규모 개발자들에겐 진짜 고통임. 우린 더 빨리 움직이고, 버그를 고치고, 기능을 출시하고, 보안을 개선하려고 이 도구들을 씀. 그런데 모델이 지시를 안 따르거나 합리적인 요청을 거부하면, 오히려 모든 게 느려짐.
최근 Opus에 대해 다른 사람들도 똑같이 느끼는지, 아니면 나만 그런 건지 궁금함.
