[Opus 5] 내 토큰 돌려줘

난 1년 넘게 앤스로픽의 플래그십 모델들을 써왔고, Claude Code용 Claude Max 계정도 쓰고 있어.

Opus 4.6은 진짜 역대급이었어. 내 작업 효율을 엄청나게 끌어올려 줬고, 꽤 복잡한 개발 업무도 척척 맡길 수 있어서 결과물도 항상 만족스러웠거든.

근데 이제 그런 시절은 다 갔어. Opus, Sonnet, 심지어 Fable 5까지 다 써봤는데(전부 최소 xhigh 설정에, 어떤 건 ultracode, 심지어 프롬프트에 ULTRATHINK 키워드까지 넣어서 돌려봄),

최근에 보니까 진짜 어처구니없고 돈 깨지는 실수를 너무 많이 해. 툴 호출이나 bash 명령어 실수로 토큰만 더 날리게 만들고(즉, "skim"하게 됨), 규칙 파일이나 스킬 프롬프트에 명시된 규칙을 대놓고 무시하고, 세션만 질질 끌고, 버그나 결함, 회귀 오류까지 만들어내. 심지어 한 번은 3천만 토큰이나 들여서 만든 인덱스 전체를 그냥 삭제해 버리더라.

세션 큐를 비우고 대화 내용을 다른 에이전트한테 넘길 수 있는 문서로 요약하는 /handoff 스킬을 쓰고 있는데, 예전엔 잘 작동했거든? 근데 Opus 5로 넘어오고 나서는 자꾸 마지막에 "한 가지만 더"라면서 뭘 남겨두는 거야.

그 "한 가지"라는 게 사실 "어떻게 할까?" / "그럼 고쳐봐" / "알겠어" 정도로 대답하면 끝날 일인 경우가 많아. 내 LLM 하네스 레포에서 세션을 새로 파서 이런 대화 내용들을 학습시켜 보기도 했는데, 실제로는 전혀 안 먹혀.

심지어 파이썬으로 게이트(gate)를 짜는 짓까지 하더라고. 근데 정작 스크립트는 실행도 안 하고 에이전트가 그냥 무시해 버려.

앤스로픽 매출에는 당연히 개이득이겠지. 근데 얘네가 진짜 치명적인 실수를 한 건, 이걸 상장하기 전에 했다는 거야.

구글은 검색 품질을 떨어뜨려 수익을 올리기 시작하기까지 무려 15년이나 걸렸거든.

앤스로픽이 Opus 4.6을 너프하기 전의 그 "체감 성능"을 유지했더라면 대중들한테 훨씬 더 큰 지지를 받았을 거고, "AI 거품"에 대한 여론도 지금보다 훨씬 좋았을 거야.

안타깝게도 모델이 의도적이든 "실수"든 토큰을 더 많이 쓰게 만들면, 그게 아주 조금이라도 사용자 전체로 퍼졌을 때 매출은 엄청나게 뻥튀기되거든.

만약 얘네가 오픈 웨이트 모델을 금지해서 시장을 독점하려는 계획까지 성공한다면, 토큰 소모량 늘리고 토큰당 가격 올리는 건 1조 달러 벌기 위한 아주 쉬운 방법이 되겠지.

환불이 안 된다는 건 알지만, 에이전트 스스로 "이건 제 잘못입니다"라고 인정하면 보상이라도 해줘야 하는 거 아냐? 우리가 뭘 시켰는데 결과물이 마음에 안 드는 거랑은 차원이 다른 문제라고. 에이전트의 실수는 곧 비용이야. "프로덕션 환경에서 빌드"하는 과정에서 발생하는 이런 비용을 보전받을 방법이 있어야 해.

미리 말하지만, 내 실력 문제라고 할 수도 있겠지. 근데 똑같은 내 설정으로 Opus 4.6 쓸 때는 규칙이랑 게이트를 지금보다 더 적게 써도 완벽하게 잘 돌아갔거든.

한번 봐봐.