Codex 프롬프트 캐싱 최적화로 예산 12배 절약하기 — 1,000건 이상의 추가 메시지 가능

세 줄 요약: 대규모 Codex 세션을 유지하려면 20~25분마다 짧고 유용한 요청을 보내서 캐시를 계속 살려둬라. 캐시 만료되면 똑같은 작업인데도 비용이 훨씬 많이 깨져서 예산 순식간에 증발한다.

프롬프트 캐싱은 Codex 쓸 때 사람들이 제일 간과하는 부분 중 하나라고 본다.

GPT-5.6에서 캐시된 입력값은 그냥 쌩으로 넣는 것보다 훨씬 싸게 먹힌다. 여기서 특히 중요한 포인트가 있는데, 캐시 유지 시간은 30분짜리 슬라이딩 윈도우 방식이라는 거다.

OpenAI 공식 문서 내용이다:

“30분의 유지 시간은 접두사(prefix)가 작성될 때 시작되며, 접두사가 재사용될 때마다 갱신된다.”

출처: OpenAI Prompt Caching docs

“캐시 펌프(cache bump)” 전략

예를 들어 09:00에 작업을 끝냈다고 치자.

한 시간 뒤에 돌아와서 캐시 다 날아간 상태로 시작하지 말고, 20~25분쯤 지났을 때 짧고 유용한 메시지를 하나 던져라:

09:00: 일반적인 Codex 요청
09:22: “캐시 펌프.”

이렇게 성공적으로 재사용할 때마다 캐시된 접두사의 30분 유지 시간이 초기화된다.

물론 펌프질하는 것도 공짜는 아니다. 새로 보내는 메시지랑 출력값에 대한 비용은 나간다. 근데 기존 대화에 토큰이 10만 개 넘게 쌓여 있다면, 그 방대한 기록을 캐시된 요금으로 처리하는 게 캐시 날려먹고 다시 시작하는 것보다 훨씬 싸게 먹힌다.

얼마나 차이 나냐고?

이해하기 쉽게 대충 계산해 보자.

똑같이 엄청난 양의 컨텍스트를 가진 요청을 100번 보낼 수 있는 예산이 있다고 치자.

GPT-5.6 캐시 비용 비율을 적용하면:

• 일반 캐시 안 된 토큰: 1.00×

• 프롬프트 캐시에 기록되는 토큰: 1.25×

• 캐시에서 읽어오는 토큰: 0.10×

즉, 캐시가 살아있는 요청은 캐시가 다 날아간 요청보다 비용이 8% 수준밖에 안 된다는 소리다.

다르게 말하면:

캐시 날아간 요청 1번 할 돈으로 캐시 살려둔 요청을 12.5번 정도 할 수 있다.

자, 그럼 일주일 예산으로 캐시 안 된 요청을 100번 할 수 있다고 가정해 보자.

매번 캐시가 날아간 상태로 요청하면:

≈ 100번 대화 가능

첫 번째 요청만 캐시 안 된 상태고 나머지는 계속 캐시를 살려두면:

≈ 1,238번 대화 가능

똑같은 예산으로 1,100번 넘게 더 대화할 수 있는 거다. 이 이상적인 예시에서는 12배 넘게 더 많이 쓸 수 있다는 얘기지.

근데 Codex UI에서 캐시 히트나 기록 여부를 바로 확인할 수 있게 해주면 참 좋을 텐데 말이야. 다들 즐거운 코딩해라!