AI 에이전트 토큰 낭비 감사 도구: 73개 트레이스 분석 결과 74%에서 낭비 발견
"I audited 73 public agent trajectories for wasted tokens — 74% had measurable waste (open-source tool, runs locally)
핵심 요약
AI 에이전트의 토큰 낭비를 감지하고 수정 제안을 제공하는 로컬 CLI 도구 'chewme-audit'을 소개합니다.
- 토큰 낭비 분석 — 에이전트 트레이스를 읽어 비효율적인 반복 작업과 비용을 분석함
- 로컬 실행 — API 호출이나 데이터 업로드 없이 로컬에서 안전하게 작동함
- 반복 패턴 감지 — 동일한 명령 반복이나 불필요한 파일 재확인 등 낭비 사례를 식별함
- 수정 제안 제공 — 감지된 낭비 패턴에 대해 즉시 적용 가능한 코드 수정안을 제시함
공개된 벤치마크 에이전트 궤적 73개를 뜯어보니까 토큰 낭비가 심각하더라. 무려 74%에서 유의미한 낭비가 발견됨. 그래서 직접 에이전트 돌려서 확인해 봤다.
chewme-audit (MIT)는 내가 만든 CLI 툴인데, Langfuse, LangSmith, 일반 JSONL, Claude Code 트랜스크립트 같은 에이전트 로그를 읽어서 어디서 토큰이 줄줄 새는지, 공급자별로 비용은 얼마인지 싹 다 계산해 준다. 패턴별로 복붙해서 고칠 수 있는 수정안도 알려줌. 로컬에서 돌아가니까 API 호출도 없고, 외부로 데이터 유출될 일도 없다.
설치: `pip install chewme-audit`, 그다음 `chewme-audit your_traces.jsonl --provider deepseek` 실행하면 끝.
**가장 어이없던 사례:** 어떤 궤적은 똑같은 잘못된 편집 명령어를 283번이나 반복하다가 스텝 제한 걸려서 뻗어버리더라. 추천해 준 중복 제거 수정안을 적용하고 실제 모델 호출로 다시 돌려봤더니, 바로 다음 호출에서 루프 탈출하고 원래 버그 잡으러 돌아감. 해당 트레이스에서 낭비된 토큰이 77%나 줄었다(13,193 → 3,041 토큰). 결과값은 SHA-256으로 위변조 방지 영수증까지 찍어줌.
**실제 작업에 에이전트 투입해서 돌려본 결과는 이렇다:**
- **단독 에이전트:** I/O의 35%가 재검증 작업이었음. 똑같은 "파일 찾기" 스크립트를 7번이나 다시 돌리더라. 유능한데 겁은 존나 많음.
- **똑같은 에이전트 4개, 같은 작업, 조율자 없음:** 낭비율이 15~37%까지 나옴. 하나는 아예 끝내지도 못했고, 하나는 `head -3`으로 파일 훑어보다가 60줄짜리 독스트링을 스텁(stub)으로 착각해서 실제 문서 117줄을 날려 먹음 (자세한 원인은 Git에 올려둔 글 참고).
- **디버깅 작업은 0.013달러에 12/12 통과함** — 근데 트레이스 까보니까 우연히 `git checkout --`가 실행되면서 고쳐진 거였음 (다시 돌리니까 0.0077달러에 깔끔하게 12/12 통과). 그냥 통과 여부만 봤으면 첫 번째 실행도 성공으로 쳤겠지만, 트레이스를 보니 아니었지.
**솔직한 한계:** 이건 트레이스 내보내기 파일을 읽는 방식이라, 캐시 동작이나 추론 토큰 과다 지출을 보려면 API 로그가 필요함. 추측하지 말고 보고서대로 따라가라. 로그 안 주면 모든 금액은 추정치로 표시된다. 74%라는 수치는 벤치마크 궤적에서 나온 거라, 실무용 에이전트보다는 벤치마크 에이전트가 루프를 더 많이 돌긴 함. 그러니까 니들 트레이스로 직접 돌려보는 게 진짜 테스트다.
니들 트레이스에도 한번 돌려보고 결과 좀 알려줘라. 특히 재검증 패턴이 다른 곳에서도 흔하게 나오는지 궁금하네.
