Opus 4.6 이후로 뭐가 문제인 걸까?

4.6 이후로 4.7이랑 4.8 모델들이(5는 4.8 이후로 클로드 거의 접어서 잘 모르겠음) 내가 시킨 지시사항을 그냥... 무시하는 게 당연했음. 지가 다 했다고 생각하면, 네가 뭘 요청하든 그냥 끝났다고 표시해버림.

Opus 4.6이랑 그 이후 버전들의 속도를 비교해보면 4.6이 훨씬 느리다는 걸 알 수 있을 거야. 내 생각엔 4.6은 활성 파라미터가 더 컸던 것 같고, 요즘 Opus는 예전 Sonnet이랑 활성 파라미터 수가 같아서 속도가 똑같은 게 아닐까 싶어. 전체 파라미터 수는 그대로거나 늘었을지 몰라도 결국 희소 모델(sparse model)이 된 거지. 파라미터 수랑 활성 파라미터 수가 더 많은 Fable은 과적합(overcook)이 덜 되려면 더 많은 학습 토큰이 필요하겠지만, 순수 활성 파라미터 수에서 오는 특별함이 있거든. Haiku는...

당시 4.6 버전이 컨텍스트 윈도우에 따라 다른 하드웨어에서 돌아간다는 음모론이 있었음. 걔네가 더 성능 좋은 하드웨어를 mythos+ 모델 학습에 쓰려고 덜 안정적인 1m 컨텍스트 버전 4.6을 내놨다는 거임.

나중에 Anthropic은 그런 성능 저하가 추론 노력 변경, 컨텍스트 캐싱 버그, 시스템 프롬프트 변경 때문이라고 둘러댔지. 추론에 쓰이는 하드웨어가 실제로 바뀌었는지에 대해서는 구체적으로 밝힌 적이 없지만, 행간을 읽어보면...

동의함.

가끔은 에이전트가 작업을 처음부터 끝까지 수행하고 결과(PR, 실패 원인 등)만 보고해주길 원할 때가 있음.

근데 보통은 에이전트랑 같이 작업하고 싶음. 내가 생각할 수 있게 힘든 일은 에이전트가 맡게 하거나, 필요할 때 의견을 나눌 상대가 필요함.

근데 에이전트가 최대한 빨리 '완료' 상태로 가려고만 하면 그렇게 할 수가 없음. 범위를 줄이고, 불안 증세를 보이고, 미친 사람처럼 말하니까. 더 이상 내 어시스턴트나 파트너가 아님...