캐싱 - 여러분은 워크플로우에서 어떻게 처리하고 계신가요?

전 아주 긴 컨텍스트 윈도우를 쓸 때만 신경 써요. 컨텍스트 감쇠(context decay)를 더 걱정하다 보니 그런 일은 거의 없지만요. 어쨌든 캐시 미스가 나더라도 비용이 같거나 조금 더 드는 수준이니, 그냥 새 세션을 시작하는 게 나을 겁니다. 그리고 시스템 프롬프트가 엄청나게 큰 게 아니라면 캐시 미스 때문에 비용이 크게 늘어나지는 않는다고 봐요.

모델을 바꾸면 새 모델에는 컨텍스트 캐시에 아무것도 남아있지 않게 됩니다. 그 시점에 모델이 전체 세션 컨텍스트를 다시 로드하거든요. 만약 같은 세션 내에서 같은 모델을 계속 사용한다면, 캐시된 세션 데이터를 재사용해서 새로운 입력 토큰에 대한 비용을 전부 지불하지 않아도 될 수 있습니다.

이전 메시지가 1시간 넘었는지 확인하는 작은 확장 프로그램을 쓰고 있는데, 1시간 넘으면 내 제공업체의 캐싱 확률이 0%로 떨어짐. 만약 272k가 넘는 컨텍스트 세션에 있다면 새 메시지를 보내기 전에 Compaction을 수행함. 며칠 동안 여러 세션을 유지하는 경우가 많아서 이걸로 토큰 사용량을 엄청 줄였음.

캐시가 깨지는 건 다음 턴이 끝날 때까지만 지속되고, 그 뒤엔 다시 전부 캐싱됨. 매 턴 모델을 바꾸면 비용이 더 나갈 거임. Subagents를 쓰면 격리된 컨텍스트에서 더 싼 모델을 쓸 수 있고, 이건 캐시를 안 깨뜨림. Compaction은 캐시를 깨뜨리지만, 그 이후로 더 작은 컨텍스트를 유지하는 대가를 치르는 거지.

난 그냥 평범한 대화 중에도 이유 없이 캐시 미스가 뜨는데, 원인이 뭔지 아는 사람 있냐? 아니면 캐시 성능 개선해주는 확장 프로그램 같은 거 있나?