에이전트 컨텍스트를 225K 토큰에서 초기화했더니 비용이 50~75% 절감됨

토큰 개수보다는 작업 경계에서 초기화하는 게 더 나음. 작업 도중에 압축하면 에이전트가 이미 변경한 파일 정보를 잃어버릴 수 있거든. 초기화하기 전에 짧은 핸드오프 파일(완료된 작업, 다음 작업, 실패한 테스트 등)을 작성하고, 그걸 git diff와 함께 새 컨텍스트의 시작점으로 삼는 걸 추천함. 이렇게 하면 에이전트가 이미 끝낸 작업을 다시 수행하는 빈도를 확인해서 절감 효과가 유지되는지 검증할 수 있음.

핸드오프 방식을 어떻게 할지는 사용자가 선택하게 함. 압축, 완료된 작업과 다음 작업 정리, 혹은 완료된 작업과 핸드오프 정리 같은 식으로 말이야.

내 하네스에는 작업 큐와 메시지 보드가 있어서 초기화 후에 에이전트를 다시 돌리기에 충분함.

뭐가 제일 좋은지는 아직 잘 모르겠지만, 실험해 볼 생각임. 어차피 Claude는 항상 일종의 핸드오프 문서를 가지고 있으니 압축 방식도 꽤 괜찮아 보임.

50~75% 절감은 어떻게 측정한 거야? 초기화 전후로 같은 작업을 수행한 거야, 아니면 그냥 청구서 금액이 줄어든 걸 본 거야?

꽤 직관적인 결과네. 1M 컨텍스트에서의 캐시 읽기가 225K 컨텍스트에서의 캐시 읽기보다 비용이 더 많이 드니까.

나도 지난달부터 이렇게 해왔음. 컨텍스트, 지시사항, 리콜 등을 단순하고 효과적으로 제한해서 유지했더니 지난 3~4주 동안 일정한 작업량을 문제없이 처리할 수 있었음.

근데 이번 주는 정말 '잔혹'했어. 평소보다 훨씬 빨리 토큰을 태우고 있고, 예전엔 초기화 시점까지 겨우 버티던 게 지금은 며칠 일찍 바닥날 기세임. 초기화 시점을 놓치게 하려고 뭔가 조정된 게 아닌가 하는 음모론을 생각 안 할 수가 없네.