오늘 Opus 5가 놀라울 정도로 잘 돌아가다가 갑자기 맛이 갔네요. 다들 조심하세요.
Ran surprisingly good on Opus 5 today, then fell off. Heads up.
핵심 요약
Claude Code 사용 중 Opus 5가 초반엔 뛰어난 성능을 보이다가 갑자기 정확도와 문체 면에서 급격히 저하된 현상에 대한 경험담입니다.
- 성능 변동성 — 초반에는 규정 준수 문제와 버그를 정확히 찾아냈으나 이후 급격히 성능이 저하됨
- 문체 및 정확도 — 정상적인 대화가 불가능해지고 사실관계를 왜곡하거나 오래된 코드를 참조하는 오류 발생
- 세션 관리 논쟁 — 세션 초기화와 /compact 명령어 사용의 필요성을 두고 사용자들 간 의견이 갈림
- 워크플로우 전략 — 핸드오프 문서나 메모리 파일을 활용해 세션 간 컨텍스트를 유지하는 방식이 제안됨
나 지금 실무에서 Claude Code 쓰는데, Fable이랑 Opus 둘 다 돌려보고 있어. 원래 Opus 3.5는 진짜 못 써먹겠다 싶었는데, 오늘 밤에는 거의 내내 미친 성능을 보여주길래 글 한번 써본다. 우리 업계 광고 규정 관련해서 내가 몰랐던 컴플라이언스 문제까지 잡아내더라고. 심지어 대충 추측하는 게 아니라 실제 규정 문서를 직접 읽고 판단함. 내 제품에서 진짜 버그도 찾아내고, 일주일 넘게 방치됐던 백업 구멍까지 발견했다.
그러다 갑자기 맛이 가기 시작함. 한 번에 훅 간 건 아닌데, 결국엔 그렇게 되더라. 특유의 그 멍청한 말투가 다시 튀어나오기 시작했는데, 이건 뭐 Opus 3.5 종특이라 놀랍지도 않았어. 진짜 어이없는 건 그전까지 몇 시간 동안은 사람처럼 정상적으로 대화하고 있었다는 거임. 한번 맛이 가니까 다시 되돌릴 수가 없더라. 몇 번이나 주의 줬는데도 안 고쳐짐.
그러더니 정확도까지 나락 감. 지 맘대로 타임라인 짜놓고 사실인 것처럼 말하길래, 다시 확인해보라고 시켰더니 며칠이나 틀려먹었더라. 4일 전에 쓴 코드 주석을 지금 상황인 것처럼 읽어주질 않나, 이미 바뀐 내용을 그대로라고 우기질 않나. diff도 안 읽어보고 배포할 때 아무것도 안 바뀐다고 하더니, 실제로는 7군데나 바뀌어 있었음.
분명히 뭔가 바뀌었어. 이건 의심할 여지가 없고, 세션 도중에 체감될 정도로 확실했음. 혹시 나 말고 다른 사람들도 이런 패턴 느낀 사람 있나 궁금해서 물어본다. 다시 말하지만, 초반에 보여준 성능이 너무 좋았어서 더 충격적이야. 친구한테 "뭔 일인지 모르겠는데 Opus 요즘 상태 개좋네"라고 말하던 참이었는데, 바로 꼬라박더라. 진짜 이상한 일임.

