콜드 캐시 히트 처리 최적화 방법 — '계속'이라고 입력하면 토큰 비용 5배 낭비함

그는 JSONL을 가져와서 생각과 도구 출력을 제거하고, /clear를 한 뒤 다시 붙여넣는 방식으로 로컬 압축을 함. 잘 작동한다고 함.

난 JSONL을 가져와서 생각(thinking)이랑 도구 출력(tool output)을 제거하고, /clear를 한 뒤 다시 붙여넣는 방식으로 로컬 압축을 함.

잘 작동함!

Claude에서 OpenAI로 LLM을 옮겨 다닐 때도 이렇게 할 수 있고.

'계속'이라고 입력하는 게 5배 비용을 만드는 게 아니라, 콜드 캐시가 문제인 거야. '인증 모듈 리팩토링해줘'라고 하든 마침표 하나를 찍든 40만 토큰을 다시 읽는 비용은 똑같아. 그 단어는 아무 상관 없고, 마치 마법의 주문이라도 되는 것처럼 말하는 건 그냥 모델한테 속삭이면 된다고 착각하게 만들 뿐이야.

그리고 한 번의 턴에 모든 걸 다 가져오는 데 10.68달러라니. 40만~70만 토큰이면 자기 기록을 다시 불러오는 데 5만 토큰당 1달러를 내는 꼴인데, 이건 하네스 문제가 아니라 '왜 여기에 70만 토큰이나 쌓여있지?'라는 문제야. 솔직히 /clear 하고 다시 붙여넣는 게 낫지. 수동이라 귀찮고 맥락 끊기는 거 나도 알아, 나도 그렇게 하거든.

근데 내가 이해 안 가는 건 그 표야. 몇 달 동안 만든 결정론적 트리머는 3.61달러인데, Haiku 2센트랑 마지막 대화 2번 합치면 2.48달러거든. 심지어 그중 하나는 창 상단에 읽을 만한 요약도 띄워주잖아. 모델 호출을 피하려고 만든 그 모든 기계 장치가 결국 모델 호출보다 못하다는 거지. 솔직히 말해봐, 지난 몇 달 동안 트리머에 쏟은 시간 중 얼마나 많은 부분이 저렴한 요약 방식에 밀려버린 거야?

Opus 5.5는 너무 저렴해서 이제 별 상관 없는 것 같은데.

서브 에이전트들은 5분짜리 캐시를 써. 테스트를 돌리거나 연산이 필요한 작업을 시키면 계속 콜드 캐시를 건드리게 돼서 비용이 많이 들지. 그래서 에이전트한테 5분 이상 걸릴 것 같은 연산을 모니터링하게 하고 4분마다 깨어나게 시켰어. 그리고 연산이 12분 이상 걸리고 토큰이 200k를 넘을 것 같으면 핸드오프를 작성해서, 다른 에이전트가 새로 시작해서 스크립트를 돌리게 했지.