AMA: 토큰 사용량 최적화에 5억 토큰을 태웠습니다.
AMA: I burned 500M tokens optimizing token usage.
핵심 요약
5억 개의 토큰을 소모하며 Claude Code의 토큰 사용량 최적화 전략과 비용 관리 대시보드 구축 경험을 공유함.
- 캐시 최적화 — 1시간 TTL 내에 작업을 배치하여 캐시 효율을 극대화함.
- 에이전트 오케스트레이션 — Opus와 Sonnet, Fable 간의 위임 전략을 통해 비용을 절감함.
- 비용 추적 대시보드 — API 사용량과 캐시 데이터를 시각화하여 예산 관리를 자동화함.
- 컴팩션 전략 — 컨텍스트 임계값 도달 시 요약 지침을 실행하여 토큰 소모를 줄임.
주말 내내 5억 토큰 넘게 써가면서 토큰 사용량 최적화하고 감사하느라 시간 다 보냈다. 주로 Claude Code 앱에서 작업하고, 코드 리뷰는 Claude가 CODEX로 넘기게 설정해서 씀. 가끔은 그냥 CODEX 앱에서 바로 작업하기도 하고. 궁금한 거 다 물어봐.
알아낸 것들:
- 1시간짜리 캐시 TTL 지나고 나서 세션 다시 들어가느라 토큰 엄청 날리고 있었음.
- Fable은 긴 문맥 읽어야 하고 코딩이나 글쓰기는 적게 하는, 그러니까 대규모 컨텍스트 윈도우가 필요한 종합적인 판단 작업에 제일 효율적임.
- 내 에이전트들이 다중 라운드 턴에서 서브 에이전트 스레드를 제대로 이어받지 못하고 있었음(난 잘 되는 줄 알았지). 캐시 TTL이 5분밖에 안 돼서 이게 얼마나 영향 있을지는 잘 모르겠다.
지금 하고 있는 거랑 테스트 중인 것들:
- 모든 제공자, 레포, 작업별로 토큰 비용 추적하는 대시보드 만들어서 모니터링 중.
- 지난 몇 달간 비용이랑 사용량 감사한 거 바탕으로 에이전트 위임 규칙 수정 중.
- 에이전트한테 실시간 토큰 비용 통계 보여줘서, 내 주간 예산에 맞춰서 알아서 위임 전략이랑 속도 조절하게 시키는 중.
- 에이전트 오케스트레이션: 레포 하나당 Opus 인스턴스 여러 개 돌리면서 개발하고, Opus가 Sonnet한테 일을 많이 넘기게 함. Sonnet도 Haiku한테 일 넘기도록 유도 중.
- 레포 하나당 Fable 인스턴스 하나씩 붙여서 레포 내 모든 Opus 세션 작업 감독하게 함. 목표는 1시간 TTL 내에서 Fable 캐시 최대한 안 식게 유지하고 쓰기 작업 최소화하는 거임. 각 Opus 세션은 Fable 세션에 자동으로 메시지 보낼 수 있고, Opus가 해결 안 되면 Fable한테 넘기고, Fable이 해결 안 되면 나한테 넘김.
- Opus 모델이 긴 작업 끝내거나 컨텍스트 임계값 넘었을 때 나한테 압축(compaction) 지시 보내는 훅 만들었음. 아직 수동으로 실행해야 하긴 하는데, 캐시 살아있을 때 싸게 압축할 수 있어서 시간 아껴짐.
- 서브 에이전트 위임할 때 resume 더 자주 써서 캐시 활용도 높이고, 매번 새로 지시 내리느라 시간 낭비하는 거 줄이는 중.
- 대시보드 써서 모든 앱, 제공자, 프로젝트, 작업 전반의 토큰 사용량 추적하면서 이 전략을 계속 다듬어 나갈 예정임.
너희들은 써보면서 알게 된, 효과는 확실한데 잘 안 알려진 꿀팁 같은 거 뭐 있냐?
