Codex에 '캐시 유지(Cache Warm)' 표시기가 필요하다는 글을 보고 직접 추가해 봤습니다.

너가 보낸 짧은 메시지 때문에 매번 전체 컨텍스트를 다시 보내는 거 아님? 그럼 여전히 캐시된 토큰 크레딧을 쓰는 거 아냐?

네, 하지만 완전히 순정 Codex는 아니고, 기존 Codex의 모든 불일치와 문제를 해결하려고 만든 다운스트림 포크 버전이에요.

주요 기능은 벤치마크를 돌려보면 오히려 사용량을 늘리는 꼼수들(caveman, leanctx, ponytail, headroom 등) 없이, 모델 출력 품질에 영향을 주지 않으면서 불필요한 토큰 낭비를 줄이는 거예요.

천천히 다른 기능들도 추가하고 Codex에 있는 다른 문제들도 고치고 있어요. (가장 최근에는 백그라운드 라우터 없이도 Codex 내에서 커스텀 모델을 선택할 수 있게 해서, 모델 선택기에서 모든 모델을 고를 수 있게 했고, 위에서 말한 컨텍스트 캐시 기능도 넣었죠)

기본적으로 Codex지만 커뮤니티의 필요에 더 잘 맞게 다듬은 버전이라고 보시면 돼요.

캐싱에 익숙하지 않은 분들을 위해: https://developers.openai.com/api/docs/guides/prompt-caching

요약하자면: 같은 프로젝트나 스레드에서 작업하면 결국 처리하기 위해 똑같은 컨텍스트를 많이 다시 보내게 되거든요. 캐싱을 사용하면 OpenAI가 이미 처리한 부분을 다시 처리하는 대신 재사용할 수 있어서 비용이 적게 들고, 결과적으로 Codex를 더 많이 사용할 수 있게 됩니다.

캐시는 마지막으로 생성되거나 재사용된 시점부터 최소 30분 동안 유지됩니다. 그래서 그 시간 안에 계속 사용하면 30분 타이머가 초기화되죠. 충분히 오랫동안 사용하지 않으면 캐시가 만료될 수 있습니다.

컨텍스트 캐시가 만료될 때마다 요청을 보내면, 캐시가 있을 때보다 훨씬 더 많은 사용량을 잡아먹게 됩니다.