지난 2주간의 Opus 5.5 상태

이걸 '집단 히스테리', 'skill issue', '문제는 키보드 앞에 있다' 같은 소리로 치부하는 사람들한테 말하는데:

진짜 아님. 나도 어제까진 너희 편이었음. '사람들이 토큰 효율 따위 신경 안 쓰고 계획 없이 프롬프트만 날리는 거다'라고 생각했거든. A/B 테스트 글들을 봐도 '그럴 수도 있겠지만, 나한텐 바뀐 게 없는데?' 싶었지.

난 멀티 에이전트 셋업(플래너, 빌더, 리뷰어, 대부분 Opus 5.5 xhigh 사용)을 돌려. 자체 비용 추적도 하고, 주기적으로 Opus한테 셋업을 점검하고 수정 제안을 하게 시키지.

어제는 너무 엉망이라 로그의 실제 수치를 가지고 Fable한테 중립적인 감사를 맡겼어. 내 눈을 의심할 수밖에 없었음... 11월 3일 밤 이후로 Opus가 응답당 거의 3배 더 많이 작성함(사고 과정이 토큰 약 400개에서 1,100개로 늘어남). 같은 프롬프트, 같은 셋업인데 말이야. 작업당 비용: 10월 말엔 약 3.90달러, 이번 주엔 약 11달러, 어제는 24달러였음. 이번 주 지출의 40%가 수정 라운드에 들어갔고, 어제는 61%였어.

내 셋업은 11월 5일에 그 급증을 감지하고 '괜찮음, 아무것도 바꾸지 마'라고 결론 내렸었어. 내가 Opus한테 돌리던 어떤 자체 점검도 문제를 잡아내지 못했지. Fable이 외부에서 보고 나서야 Opus에 뭔가 잘못됐다는 걸 깨달았어.

Anthropic은 100% 뒤에서 뭔가를 하고 있고, 그걸 투명하게 밝히지 않고 있어.

걔네도 5.5가 원래 예상보다 훨씬 뛰어나다는 걸 깨달은 거겠지. 더 비싸게 만들었거나, 아니면 효율을 떨어뜨려서 토큰을 태워버리려고 쓸데없는 내용을 추가하고 에이전트들을 돌리는 걸지도.

Anthropic은 모델을 출시하면 우리가 그 버전을 고정할 수 있게 하고, 그 버전은 절대 바뀌지 않도록 보장해야 해. 새 버전을 내고 싶으면 내되, 우리가 정확히 어떤 버전을 쓰는지 알 수 있게 해달라고.

우리 팀은 Opus가 고쳐질 때까지 사용을 중단하기로 했어. 가장 간단한 실수도 하고, 뭘 하고 있었는지 바로 까먹어. 어텐션/캐시 문제 같아. 코드를 가져오려고 같은 파일을 여러 번 읽는데, 예전엔 절대 안 그랬거든. 하니스(harness) 업데이트 때문인가 싶기도 한데, 캐시는 하니스랑 상관이 없으니(모델이 여러 번 읽으라고 지시받지 않는 이상) 아닐 것 같아. 뭔가 잘못됐고, 안타깝게도 지금은 믿을 수가 없어.

오늘 레딧이랑 다른 소셜 네트워크에 이 얘기가 도배됐어. 이건 히스테리가 아니라 심각한 문제인데, Anthropic은 사용자랑 소통하는 게 너무 엉망이야...