요약(compaction)을 위해 별도의 모델을 사용하는 것을 멈추세요
Stop using a separate model for compaction
핵심 요약
세션 요약 시 별도 모델 대신 메인 모델을 사용하고 캐시 TTL을 활용해 비용을 절감하는 전략을 제안합니다.
- 비용 효율성 — 별도 모델 대신 메인 모델로 요약하여 캐시 적중률을 높임
- 캐시 활용 — 캐시 TTL 만료 전 강제 요약을 통해 불필요한 비용 지출 방지
- 성능 최적화 — 긴 세션에서 동일 모델 사용 시 비용과 효율성 모두 개선
- 사용 제한 완화 — 캐시 적중을 통해 Pi 사용 한도를 100% 이상 확장 가능
내가 말하는 대략적인 가격대는 다음과 같음.
10/50 - Fable
4/20 - Opus
2/10 - sonnet
.1/.5 - Haiku. 단, 100K 토큰 넘어가면 .5/2.5
여기에 쓰기 프리미엄이 붙고, 캐시 히트 시 50~90% 할인까지 들어감. 기본 모델을 Claude Opus 5.5로 잡으면 히트 시 무려 95% 할인을 받는 셈이지. 이 정도면 1시간 TTL(Time To Live) 설정해두는 게 메인 세션용으로 쓸 때 거의 즉시 본전 뽑는 수준임.
일단 Haiku는 Opus 세션을 요약할 만큼 똑똑하지 않음. 설령 Haiku를 쓴다 해도 긴 세션 하나 요약하는 데 10~15센트는 깨짐.
똑같은 모델을 쓰면서(캐시 블록 밖의 내용은 생략하고) 캐시 히트를 활용하면 비용은 .2/1 수준임. 이건 sonnet에 요청 보내는 것보다 10배 저렴하고, 100K 넘는 Haiku보다도 절반이나 싼 가격임.
이 방식의 장점은 세션이 캐시 TTL 만료 직전일 때 강제로 압축(compaction)을 걸 수 있다는 거임. 그래서 자리를 비우거나 데드락 게임이 너무 길어져도, 돌아왔을 때 압축 비용으로 1달러 넘게 뜯기는 대신 깔끔하게 압축된 세션을 마주할 수 있음.
다들 왜 "압축용 최적의 모델"을 찾겠다고 난리인지 모르겠음. 답은 이미 나와 있는데 말이야! (압축 모델 따위 필요 없음)
세 줄 요약 : 대화가 60k 토큰 넘어가면 무조건 같은 모델로 압축해라. 캐시 읽기 비용은 10배 더 싸고 멍청해서 요약도 제대로 못 하는 모델에 요청 보내는 것보다 훨씬 저렴함. 게다가 캐시 TTL 만료 전에 강제 압축을 걸어두면 사용량 급증도 막을 수 있음. 대규모 압축이랑 캐시 만료 때문에 골치 아픈 놈들은 이 간단한 팁만 써도 Pi 사용 한도를 100% 이상 늘릴 수 있다.
