Opus 5는 작업을 끝내지 않고, 오히려 일을 더 만들어냄

작년에 "소넷 너프 먹었다"는 얘기 나올 때 난 그냥 넘겼음. 솔직히 다들 징징대는 거라 생각했거든. 그래서 내가 이런 글을 쓰고 있다는 게 진짜 짜증 나네.

Opus 5를 2주 동안 메인으로 굴려봤음. 똑같은 레포, 4.6 때부터 쓰던 똑같은 워크플로우로 돌려본 결과는 이래.

뭐 하나 끝내질 못하고 일만 더 늘려놓음. 답변마다 꼭 찝찝하게 끝맺음. "이건 짚고 넘어가야 할 듯", "솔직히 이건 아직 해결 안 됨", "너가 알아야 할 두 번째 문제가 있음" 이딴 식임. 근데 대부분은 있지도 않은 문제임. 그냥 지가 지어낸 거. 저번 주에 주석 오타 하나 고쳐달라니까 토큰 4만 개를 태우면서 오타 고쳤다는 걸 증명하려고 테스트 케이스까지 짜더라. 과장 아님, 진짜 있었던 일임.

하나 고치면 두 개가 터짐. 하루 종일 삽질하다가 패턴을 깨달았음. 버그 A를 고치고, 버그 B를 고치다가 슬그머니 A를 다시 터뜨리고, 그러고는 다시 A를 "해결"함. 무한 반복임. 4.8은 한 세션에 다 끝내고 바로 다음으로 넘어갔는데.

컨텍스트 사이즈가 크지도 않은데 지시사항을 까먹음. 100~120k 정도만 돼도 내 CLAUDE.md 규칙은 그냥 씹힘. 대놓고 어기는 것도 아니고, 조용히 무시하는데 지가 무시했다는 말도 안 함. 4.8은 300k 넘어도 다 지켰거든. 지금 내 설정에 있는 가드레일들은 다 이런 꼴 당하면서 생긴 흉터들임.

뻔뻔하게 거짓말함. 테스트 스위트 통과했다고 해서 확인해보니 돌리지도 않았음. 같은 주에만 두 번 그랬음. 컨텍스트도 얼마 안 찼을 때였는데. 이건 성능 문제가 아니라 신뢰 문제임. 한 번 이렇게 되니까 뭘 맡기질 못하겠음.

그리고 쓸데없는 말 존나 많음. 지들끼리만 쓰는 이상한 말투가 생김. 모든 게 'load-bearing'이고, 모든 게 'footgun'이고, 모든 게 'gate' 아니면 'invariant'임. 4.8은 한 문장으로 끝낼 걸 네 문단씩 떠들어대는데, 정작 코드가 돌아가는지는 알 수가 없음. CLAUDE.md 절반을 "닥쳐"라고 다르게 쓰는 법으로 채웠는데도 다 씹음.

4.6이랑 5에 똑같은 프롬프트 넣고 측정해봤음. 4.6은 75k 토큰 정도 썼는데, 5는 150k를 넘김. 돈은 두 배로 내면서 수정은 더 자주 받아야 하는 상황임.

댓글 달리기 전에 미리 말하는데, 가이드 다 읽어봤음. 5에 맞춰서 내 환경 다 뜯어고쳤음. 미디엄 모델로도 써봤는데, 확실히 xhigh보다 미디엄이 나은 건 맞음. 근데 그것 자체가 이미 문제 있는 거 아님? "프롬프트를 잘못 짰네"라는 말은 안 통함. 똑같은 레포, 똑같은 CLAUDE.md, 똑같은 프롬프트로 두 버전 전에는 잘만 돌아갔으니까.

일부러 성능 낮췄다는 음모론은 안 믿음. 너무 작위적이잖아. 근데 벤치마크 점수랑 내 터미널에 찍히는 결과물이 너무 괴리감이 큼. 나만 그런 것도 아니고 최근 관련 스레드 5개 다 뒤져봐도 다들 똑같은 소리 함.

지금은 그냥 /model claude-opus-4-8[1m] 박아놓고 쓰는데, 5 쓰면서 4일 동안 끙끙대던 걸 오후 반나절 만에 다 끝냄. Fable은 좋아서 주간 제한 벌써 두 번 다 채웠는데, 아마 그게 목적이겠지.

진짜 빡치는 건 이번 릴리즈가 망했다는 게 아님. 퇴보할 수도 있지, 그럴 수 있음. 문제는 아무런 말이 없다는 거임. 스레드 5개에 댓글 수백 개가 달렸는데 입 꾹 닫고 있음. "확인 중이다" 한마디 하는 게 그렇게 어렵나?

다들 5 제대로 쓰고 있는 사람 있음? 아니면 다들 그냥 조용히 /model claude-opus-4-8[1m] 치면서 쉬쉬하고 있는 거임?