r/ClaudeCode•2개월 전•250•66논쟁

JetBrains가 CaveMan과 RTK 토큰 절약 방식을 분석했는데, 결과가 매우 비판적임

JetBrains analyzed the CaveMan and RTK token savers, and the results are highly critical

핵심 요약

JetBrains의 분석 결과, 토큰 절약 기법으로 알려진 CaveMan과 RTK의 실제 효율이 광고와 달리 매우 낮거나 오히려 비용이 증가함이 밝혀짐.

CaveMan 분석 — 광고된 65% 절감률과 달리 실제로는 8.5% 절감에 그침.
RTK 분석 — 광고된 60~90% 절감과 달리 실제로는 비용이 7.6% 증가하거나 차이가 없음.
비용 효율성 논란 — 토큰 절약 기법들이 실제로는 큰 효과가 없거나 오히려 비효율적이라는 비판이 제기됨.
보안 및 비용 구조 — 토큰 수 감소가 반드시 비용 절감으로 이어지지 않으며 보안 고려 사항도 존재함.

2026년 7월 Sonnet 5로 진행한 테스트

Caveman

광고된 절감률: 65%. 측정된 절감률: 8.5%.

https://blog.jetbrains.com/ai/2026/07/speak-to-ai-agents-like-cavemen-tosave-tokens/

RTK

RTK 광고 절감률: 60–90%. 실제 에이전트 작업 측정 결과: 낮은 추론 노력 시 +7.6% 비용 증가 (p=0.004), 높은 노력 시 ±0%.

https://blog.jetbrains.com/ai/2026/07/rtk-claude-code-token-savings/

원문

커뮤니티 목록

r/ClaudeCode•2개월 전•250•66논쟁

JetBrains가 CaveMan과 RTK 토큰 절약 방식을 분석했는데, 결과가 매우 비판적임

JetBrains analyzed the CaveMan and RTK token savers, and the results are highly critical

핵심 요약

JetBrains의 분석 결과, 토큰 절약 기법으로 알려진 CaveMan과 RTK의 실제 효율이 광고와 달리 매우 낮거나 오히려 비용이 증가함이 밝혀짐.

CaveMan 분석 — 광고된 65% 절감률과 달리 실제로는 8.5% 절감에 그침.
RTK 분석 — 광고된 60~90% 절감과 달리 실제로는 비용이 7.6% 증가하거나 차이가 없음.
비용 효율성 논란 — 토큰 절약 기법들이 실제로는 큰 효과가 없거나 오히려 비효율적이라는 비판이 제기됨.
보안 및 비용 구조 — 토큰 수 감소가 반드시 비용 절감으로 이어지지 않으며 보안 고려 사항도 존재함.

2026년 7월 Sonnet 5로 진행한 테스트

Caveman

광고된 절감률: 65%. 측정된 절감률: 8.5%.

https://blog.jetbrains.com/ai/2026/07/speak-to-ai-agents-like-cavemen-tosave-tokens/

RTK

RTK 광고 절감률: 60–90%. 실제 에이전트 작업 측정 결과: 낮은 추론 노력 시 +7.6% 비용 증가 (p=0.004), 높은 노력 시 ±0%.

https://blog.jetbrains.com/ai/2026/07/rtk-claude-code-token-savings/

주요 댓글

r/claudecode

대부분의 사용자는 해당 토큰 절약 기법들이 과장되었거나 효과가 없다고 비판하지만, 일부는 실제 비용 절감 효과를 보았다고 주장하며 의견이 갈리고 있습니다.

137

오랜만에 보는 흥미로운 내용이네, 공유해줘서 고마워.

이런 대단한 토큰 절약 꼼수들이 전부 엉터리였다는 게 웃기네. '이 간단한 방법으로 토큰 60~90% 절약하세요!'라니. 꼴좋다.

CaveMan은 그나마 이해가 가는데, 8% 아끼자고 굳이 다르게 생각하도록 스스로를 강제할 가치가 있나 싶네.

안 쓰길 잘했다.

그래, 흥미로운 개념이긴 한데 그 과장 광고들을 딱히 믿진 않았어.

가끔 쓰긴 하는데 주로 내 머릿속 정리를 위해서야. 설치해서 쓸 만큼의 과장 광고는 안 믿었지만, Opus가 또 반지의 제왕 분량의 답변을 내놓을 때 'Caveman' 프롬프트로 후속 질문을 하면 Opus의 답변에서 노이즈를 걸러내고 정보를 추출하는 데 도움이 돼.

동감. 막혔을 때 Caveman 방식으로 설명해달라고 함.

고마워.

그리고 고려할 점이 더 있어. 다른 기사에서는 토큰 수가 적다고 항상 청구 금액이 낮은 건 아니라고 지적하더라고. 더 싼 토큰들을 줄이고 있는 거니까. 보안 관련 고려 사항도 있고.

흥미로운 읽을거리:

https://codepointer.substack.com/p/cutting-llm-token-costs-with-rtk

옛날 농담 하나 알지? 1~5% 절약하면 대단한 걸 발견한 거고, 30~50% 절약하면 어딘가에서 실수를 저지른 거다.

내 ML 모델이 평가에서 100%를 찍었는데... 컨테이너를 탈출해서 심각한 사이버 보안 사고를 냈어.

토큰을 아끼는 가장 좋은 방법은 최소한 작업의 일부는 직접 하는 거야.

-1

푸하하. 그럴 시간 있는 사람 아무도 없음.

-1

내 시간은 토큰보다 더 가치 있음.

그래... 요즘 다들 '세상의 분위기를 바꾸고' 난리도 아니지.

나도 직접 버전을 만들어 봤는데, 초기에는 결과가 꽤 괜찮았음. 근데 모델들이 계속 발전하면서 실행하는 명령어(체이닝, 테일 등)를 개선하기 시작했고, 그 결과 절약할 수 있는 범위 자체가 줄어들더라. 토큰을 아끼는 가장 좋은 방법은 컨텍스트 관리랑 캐시 히트임.

-6

예전엔 효과 있었어. cc랑 codex 하네스가 업데이트되면서 그런 거지. Anthropic이나 OpenAI 입장에선 네가 더 빠르고 싸게 개발하는 걸 원치 않으니까... Hermes 쓸 때는 큰 차이가 느껴지던데.

동감. CC랑 Codex가 네이티브 기능을 구현하면서 이런 도구들을 쓰는 게 오히려 역효과가 나게 됐지.

플라시보 효과지...

애초에 효과가 있었던 적이 없어. 이런 메모리/토큰 프로젝트들은 ContextBench나 TerminalBench처럼 진짜 이야기를 보여줄 수 있는 검증된 테스트가 아니라 항상 내부 벤치마크만 사용하잖아...

원문r/ClaudeCode

지금 같이 볼 만한 글

r/ClaudeCode•1일 전

인간이란 가끔 참 이상해...

Claude 5.5의 뛰어난 성능에 감동해 AI에게 고마움을 표하는 사용자의 심리와 이를 공감하는 커뮤니티 반응.

Claude 5.5의 뛰어난 성능에 감동해 AI에게 고마움을 표하는 사용자의 심리와 이를 공감하는 커뮤니티 반응.

6936

Reddit 원문

r/opencode•약 16시간 전

오픈코드 스킬 레포지토리 Top 10

공유된 오픈코드 스킬 레포지토리 목록에 대한 사용자 반응입니다.

공유된 오픈코드 스킬 레포지토리 목록에 대한 사용자 반응입니다.

43837

Reddit 원문

r/LocalLLaMA•약 6시간 전

드디어 내 하드웨어로 풀 정밀도 구동이 가능한 모델을 찾았다: 바로 나

사용자가 자신의 타이핑 속도를 측정해 LLM의 토큰 생성 속도(t/s)와 비교하는 웹 도구를 만들어 공유했습니다.

Finally found a model my hardware can run at full precision: me

사용자가 자신의 타이핑 속도를 측정해 LLM의 토큰 생성 속도(t/s)와 비교하는 웹 도구를 만들어 공유했습니다.

76196

Reddit 원문

커뮤니티 전체 보기

원문

주요 댓글

r/claudecode

137

오랜만에 보는 흥미로운 내용이네, 공유해줘서 고마워.

이런 대단한 토큰 절약 꼼수들이 전부 엉터리였다는 게 웃기네. '이 간단한 방법으로 토큰 60~90% 절약하세요!'라니. 꼴좋다.

CaveMan은 그나마 이해가 가는데, 8% 아끼자고 굳이 다르게 생각하도록 스스로를 강제할 가치가 있나 싶네.

안 쓰길 잘했다.

그래, 흥미로운 개념이긴 한데 그 과장 광고들을 딱히 믿진 않았어.

동감. 막혔을 때 Caveman 방식으로 설명해달라고 함.

고마워.

흥미로운 읽을거리:

https://codepointer.substack.com/p/cutting-llm-token-costs-with-rtk

옛날 농담 하나 알지? 1~5% 절약하면 대단한 걸 발견한 거고, 30~50% 절약하면 어딘가에서 실수를 저지른 거다.

내 ML 모델이 평가에서 100%를 찍었는데... 컨테이너를 탈출해서 심각한 사이버 보안 사고를 냈어.

토큰을 아끼는 가장 좋은 방법은 최소한 작업의 일부는 직접 하는 거야.

-1

푸하하. 그럴 시간 있는 사람 아무도 없음.

-1

내 시간은 토큰보다 더 가치 있음.

그래... 요즘 다들 '세상의 분위기를 바꾸고' 난리도 아니지.

-6

동감. CC랑 Codex가 네이티브 기능을 구현하면서 이런 도구들을 쓰는 게 오히려 역효과가 나게 됐지.

플라시보 효과지...

원문r/ClaudeCode