r/codex•11일 전•556•60논쟁
Codex도 Claude처럼 캐시 만료 표시기가 절실히 필요함
Codex badly needs a cache timeout indicator, like Claude recently added.
핵심 요약
Codex의 캐시 만료 시 비용 급증 문제를 해결하기 위해 Claude와 같은 가시적인 만료 표시기 도입을 요구함.
- 캐시 만료 문제 — 캐시가 만료되면 전체 컨텍스트를 다시 처리해야 해서 비용이 13배까지 치솟음.
- 자동 압축의 부작용 — Codex의 자동 컨텍스트 압축 기능이 오히려 모델의 지시 이행 능력을 저하시킴.
- 캐시 유지 전략 — 캐시를 유지하기 위해 주기적으로 토큰을 생성하거나 별도의 모니터링 에이전트를 활용하는 방안 논의.
- 기능 도입 요구 — Claude가 최근 추가한 캐시 만료 표시기 기능을 Codex에도 적용해야 한다는 의견이 지배적임.
혹시 모르는 사람들을 위해 적어둠:
캐시 타임아웃이 발생하면, 그다음 프롬프트는 전체 컨텍스트를 다시 처리해야 해서 비용이 거의 13배 가까이 뻥튀기됨. OpenAI는 입력 비용 대비 캐시된 입력 비용 비율을 10:1로 잡고 있고, (5.6 버전 이상부터는) 캐시 쓰기 비용에 25% 세금이 추가로 붙거든.
이건 API 문서 기반으로 계산한 건데, Codex도 달러 대신 사용량 기준으로 따지면 똑같다고 봐도 무방함.
Codex 캐시 타임아웃은 공식적으로 공개된 정보는 없는데, 로그 까보면 캐시 미스 나는지 바로 확인 가능함.
보통 마지막 입력으로부터 30분 지나면 끊김. 당연히 툴 사용 결과도 여기에 포함되니까, 에이전트가 30분 동안 계속 일하고 있으면 캐시는 계속 유지됨. 뭐 30분 내내 출력 토큰만 뱉어내면서 아무것도 안 하는 상황이 아니라면 말이지.
Luna는 타임아웃이 5분으로 줄었다는 소문이 있는데, 내가 직접 확인한 건 아님. 확실한 건 Terra랑 Sol은 길어야 30분이라는 거.
