Claude Code가 요즘 의도적으로 토큰을 더 많이 소모하나요?

계속 들쭉날쭉하네요. 특히 Fable은 미친 듯이 비싸요. 그리고 솔직히 Opus는 좋은 모델인지 잘 모르겠어요.

토큰을 더 소모하는 게 아니라 그냥 더 많이 시도하는 거예요. 사용자가 모르는 사이에 작은 MoE 모델로 교체된 것 같거든요(느낌이 옵니다). MoE는 큰 코드베이스를 감당 못 하죠.

품질을 개선하는 모든 모델 업데이트는 공교롭게도 토큰 사용량도 증가시키죠. 아마 우연일 겁니다... 아마도요.

당연히 아니죠.

토큰당 돈을 받는 회사가 모델이 토큰을 더 많이 쓰게 하거나, 더 많은 토큰을 생성하는 정교한 토크나이저를 쓰게 하고 싶어 하겠어요? 아니면 토큰을 더 많이 잡아먹는 관행(요청하지도 않은 불필요한 아티팩트 출력, 잘 모듈화된 작은 파일이 아닌데도 컨텍스트로 읽어들이는 긴 파일들 등)을 활용하고 싶겠냐고요?

음모론이죠!

분명히 더 나은 결과를 위한 걸 겁니다.

에이전트 스웜(Agent Swarms)처럼요. 첫 번째 생성 결과가 별로일 수 있으니까 토큰을 10배나 더 쓰게 만드는 거죠...

LLM에 대해 '의도'라는 단어를 쓰는 건 의미가 없습니다. 문제는 Anthropic이 모델이 그렇게 하도록 훈련했거나 영향을 주었느냐는 거죠. 제 생각엔 LLM 시장의 경쟁이 워낙 치열해서, 이게 의도적인 선택이라기보다는 모델의 결함일 가능성이 더 높습니다. Anthropic(혹은 다른 선도적인 AI 연구소)은 수익을 극대화하려고 모델에 결함을 넣기보다는, 그냥 압도적으로 최고인 모델을 만들어서 더 비싸게 받는 걸 선호할 겁니다.

의도적인 건 아닐 겁니다. 여러 가지 요인이 복합적으로 작용하고 있겠죠. 저장소가 커진 것도 있겠지만, 최근 들어 Claude가 샌드박스를 최대한 활용하게 하려는 시도가 많았던 것 같아요. 계속해서 하네스(harness)를 조금씩 조정하고 있고, Claude는 사용 가능한 도구와 메서드를 사용하는 습관이 있거든요(특히 컨텍스트에 가장 먼저 혹은 마지막에 로드된 경우라면 더더욱요).

단기적인 이익을 위해 자기네 제품을 망치려 한다는 건 아닐 거라고 장담합니다. 최악의 경우 품질을 희생할 수는 있어도요.

제가 측정해봤을 때, 생성된 코드는 청구서에서 차지하는 비중이 작았습니다. 파일을 읽고 세션에 이미 있는 모든 걸 다시 보내는 게 대부분이었죠. 그래서 전체 저장소 읽기 + 파일당 테스트 실행이 딱 지금 보시는 그 수치가 나오는 겁니다.

제가 반박하고 싶은 부분은 그 추가 작업이 정말 '철저함' 때문이냐는 거예요. 제가 만든 에이전트 기반 앱을 작업 단위로 감사해봤는데, 10개 작업 중 7개가 성공했고, 실패한 것들은 에이전트가 대충 한 것들이 아니었어요. 더 많이 읽고 더 많이 테스트한다고 해서 더 긴 보고서가 나올 뿐이죠.

오늘 작은 작업 몇 개 하느라 주간 한도의 30%를 태웠어요. 기괴할 정도네요. 심지어 어떤 이슈를 제대로 작업한 것도 아니고 그냥 계획 검토랑 코드 리뷰만 한 건데 말이죠.

글쎄요, OpenAI의 제한과 비교하면 Claude의 사용 제한은 농담 수준이라고 생각합니다. OpenAI에서 Claude로 프로젝트를 옮겨보려고 했는데 15분 만에 할당된 사용량을 다 써버렸어요. 반면에 ChatGPT/Codex는 일주일 내내 쉬지 않고 쓰고 있는데 말이죠. 그냥 20달러를 불태웠는데 남은 게 아무것도 없는 기분입니다.