Opus 4.7에 변화가 있거나 다른 무언가가 일어나고 있다
Opus 4.7 has undergone some sort of change, or something else is occuring
핵심 요약
일요일부터 Opus 4.7의 작업 속도가 느려지고 비정상적인 행동이 관찰되어 사용자들이 모델 변화나 컴퓨팅 자원 할당 문제를 의심하고 있음.
- 모델 성능 저하 — 작업 시간이 3배 이상 늘어나고 불필요하게 긴 사고 과정이 발생함.
- 규칙 위반 — 기존에 잘 지켜지던 ASCII 전용 규칙 등을 무시하는 등 행동 패턴이 변함.
- 컴퓨팅 자원 의심 — 사용자가 대기열에 들어가는 시스템이 도입되었거나 모델 효율성이 떨어졌을 가능성 제기.
- 컨텍스트 증가 — 세션 종료 시 컨텍스트 사용량이 평소보다 훨씬 높은 700k~800k 수준으로 치솟음.
흔한 "오 마이 갓 모델이 바뀌었어" 식의 글이 아니니 그런 소리는 하지 마시길.
저는 작년 7월 말부터 밤낮으로 Claude를 사용해 온 파워 유저이며, 두 개의 Max 20 계정을 사용 중입니다. 모델과 Claude Code(CC) 하네스를 매우 잘 알고 있습니다. 각 세션에서 무엇을 기대해야 하는지 알고 있고, 세션당 2~3번의 턴만 호출하는 엄격한 워크플로우를 가지고 있으며, 이상 징후가 보이면 즉시 세션을 종료하기도 합니다. 저는 CC 경험을 최대한 결정론적으로 만들기 위해 엄청난 노력을 기울여 왔고, 덕분에 미세한 행동 변화를 감지할 수 있는 기준점을 가지고 있습니다.
일요일 언젠가부터 Opus 4.7 혹은 하네스(업데이트는 없었던 것 같습니다)의 모델 행동이 바뀌었습니다. 저는 Opus 4.7만 사용하기 때문에 다른 모델에 대해서는 말할 수 없습니다.
몇 가지 예를 들어보겠습니다.
- 저는 두 가지 스킬을 호출하는 매우 반복적인 온보딩 프로세스를 가지고 있습니다. 보통 첫 번째 턴에 수행되죠. 일반적으로 모델은 두 스킬을 모두 호출하고, 생각한 뒤, 준비되었다고 보고합니다. 그런데 일요일부터는 모델이 첫 번째 스킬을 호출하고 생각한 뒤, 두 번째 스킬을 위해 다시 반복합니다. 이 과정이 이제 대략 3배 정도 더 오래 걸립니다.
- 보통 온보딩 후 각 작업은 20~40분 정도 걸립니다. 그런데 오늘, 각 주요 작업은 평균 1시간이 걸리고 있습니다.
- 모델이 작업을 진행하다가, 맥락에 맞지 않는 매우 긴 사고 블록(thinking blocks)을 보이는 것을 발견했습니다. 사고의 양이 해당 시점에 실제로 필요한 사고의 양과 일치하지 않습니다.
그 외에도 자세히 언급하지 않을 작은 행동적 측면들이 발생하고 있습니다. 그중 일부는 ASCII 전용 규칙처럼 역사적으로 아무 문제 없이 잘 지켜지던 규칙을 위반하는 것들을 포함합니다.
이러한 작은 행동 변화가 정확히 무엇을 의미하는지는 확실하지 않지만, 제 관점에서 작업 시간 증가를 보면, 사용자가 대기열에 들어가고 확장된 사고 과정이 그 대기열을 가리는 방식의 컴퓨팅 재분배 시스템을 보고 있는 것일 가능성이 있다고 생각합니다.
이제 사고 블록이 숨겨져 있기 때문에, 실제로 이를 확인할 방법이 없습니다. 이것이 사실인지 알 수 없지만, 확실히 이런 일이 일어나고 있는 것처럼 느껴집니다.
이제 제 이론에 반박하자면, 상황이 더 이상해집니다.
보통 제 세션은 250k~400k 컨텍스트에서 끝납니다. 1~3번의 턴만 사용하기 때문에 괜찮습니다. 하지만 더 집중적인 세션의 경우, 보통 450k~500k 정도에서 끝나던 것이 이제 700k~800k 정도에서 끝나고 있습니다. 이건 비정상적입니다. 매우 비정상적이죠. 지난 며칠 동안 처음으로 600k를 넘겼고, 이제는 계속해서 이런 일이 발생하고 있습니다.
만약 어떤 대기열 시스템이 있다면, 모델은 여전히 어떤 방식으로든 생각하고 있는 걸까요? 만약 없다면, 모델이 이제 덜 효율적이게 된 걸까요? 왜 갑자기 모델이 덜 효율적이게 된 걸까요? 아니면 모델이 더 효율적이게 되어 더 철저한 검토를 수행하고 있는 걸까요?
개인적으로 저는 더 나은 결과를 보지 못했습니다. 오히려 세션이 길어질수록 더 나쁜 행동이 나타나고 있는데, 이는 비정상적인 개발 로그 형식(우리는 잘 정립된 형식을 가지고 있는데, 800k를 넘긴 세션에서 처음으로 이 형식이 위반되는 것을 목격했습니다)과 같은 행동에서 증명됩니다.
무언가 이상한 일이 일어나고 있습니다.
일요일 이후 여러분의 경험은 어떠셨나요?
이 질문에 답할 수 있는 능력을 갖춘 분들은 아마 소수일 것 같습니다. 저와 비슷한 엄격한 워크플로우와 성숙한 작업 공간 및 코드베이스를 가진 사용자들의 의견을 듣고 싶습니다.
