Caveman vs RTK vs 일반 Claude Code 버그 수정 테스트: 토큰 절감 효과 미미함

둘 다 토큰 사용량을 줄이려고 만든 거라, 똑같은 작은 작업으로 순정 Claude Code랑 비교해 봤음. 테스트 79개 들어있고 버그 하나(>= 대신 >) 심어놓은 파이썬 프로젝트임. 프롬프트는 이거: pytest 돌리고, 버그 찾아서, 제일 짧게 수정하고, 다시 돌려서, git diff 보여줘. Claude Code 2.1.316, Sonnet 5.5 버전 썼고, 세팅당 두 번씩, 매번 새로 복사해서 돌림.

• RTK (rtk-ai/rtk)는 pytest 같은 Bash 명령어를 rtk pytest로 바꿔치기해서 Claude가 읽는 출력값을 줄여줌. 이건 Bash 호출에만 먹히고, Claude가 직접 쓰는 Read나 Grep 도구에는 안 먹힘.

• Caveman (JuliusBrussee/caveman, 플러그인 버전)은 세션 시작할 때 Claude한테 답변 짧게 하라고 규칙을 추가함.

Claude Code 자체 추정치 기준 평균값:

• plain: 입력 토큰 165,122개, 약 $0.052

• Caveman: 입력 토큰 164,852개, 약 $0.065

• RTK: 입력 토큰 162,774개, 약 $0.049 (두 번째 실행만)

RTK가 도구 출력값을 46% 줄였고, pytest의 장황한 출력도 10,291자에서 974자로 줄었는데 실패 내역은 그대로 다 나옴. 근데 전체 입력 토큰은 1.4%밖에 안 줄었음. 이유가 뭐냐면, 순정 Claude도 이미 pytest 결과를 tail로 걸러내고 있어서 RTK가 더 줄일 게 별로 없었음.

RTK 첫 번째 실행은 $0.155 나옴. 처음 돌린 거라 프롬프트 캐시를 바닥부터 새로 써야 해서, 비용 계산할 땐 두 번째 실행값만 썼음. 딱 한 번 돌린 거라 이걸 진짜 절약이라고 하긴 좀 애매함.

Caveman은 마지막 메시지가 좀 짧긴 했는데(94, 94단어 vs 71, 91단어), 코드 자체가 짧아지는 건 아니라서 출력 토큰은 거의 차이 없음. 오히려 비용은 25% 더 나옴. 세션 시작할 때 불러오는 규칙 때문인지 실행당 캐시 토큰도 3,400개 정도 더 씀. 애초에 세팅 간 차이보다 Caveman 자체 실행 두 번의 편차가 더 커서, 그냥 참고만 하는 게 좋음.

여섯 번 다 버그 찾았고, 똑같이 두 줄 수정해서 테스트 79개 다 통과함.

작업 하나에 총 여섯 번 돌려본 게 다임. 세션이 길어지거나 테스트/로그 출력 엄청 많은 프로젝트면 결과가 다를 수도 있고, Caveman의 CLI 기능은 테스트 안 해봄.

https://aiparabellum.com/caveman-vs-rtk-claude-code-token-test/