다들 OpenAI API 실시간 지출 한도는 어떻게 관리하시나요?

Redis 기반의 원자적 카운터가 기본적인 구현에는 효과적일 수 있지만, 예상 지출을 최종 비용으로 취급할 때는 주의해야 합니다.

실패한 요청, 타임아웃, 그리고 절대 조정되지 않는 예약 건들을 처리해야 합니다. 그렇지 않으면 가용 예산이 실제와 점점 멀어지게 될 거예요.

멱등성도 고려해야 할 부분입니다. 타임아웃 이후 클라이언트가 재시도할 때, 애플리케이션이 같은 작업으로 간주하는 것에 대해 예산을 두 번 예약해버리는 상황을 피해야 하니까요.

지출 한도요?

네, 그러니까 애플리케이션이 더 이상 요청을 보내지 않도록 API 호출 비용에 상한선을 두는 거죠. 예산을 초과했을 때 알림을 받는 게 아니라, 실시간으로 어떻게 강제할 수 있는지 방법을 찾고 있습니다.

하드 리밋은 모든 재시도와 도구 호출의 연속 작업이 전송되기 전에 다시 가격이 책정될 때만 유효합니다.

고정된 출력 제한을 설정하고, 현재 대화 내용에 그 제한을 더한 값이 이미 지출된 비용과 합쳐져 워크플로우 상한선을 넘으면 해당 라운드를 거부하세요. 제한이 없으면 상한선이 존재하지 않으므로, 검사를 통과한 후 긴 완료 작업이 발생하면 예산을 초과하게 됩니다. 스트림을 중단한다고 해서 이미 생성된 토큰이 취소되는 건 아니니, 상한선은 오직 이후 라운드만 멈출 수 있습니다. 공유 풀을 사용하면 폭주하는 에이전트가 다른 에이전트의 자원을 고갈시킬 수 있으니, 사용되지 않은 여유분만 우선순위가 낮은 작업으로 넘겨야 합니다.

LiteLLM을 한번 확인해보세요: https://github.com/BerriAI/litellm.

예산과 속도 제한을 설정해서 에이전트를 제어할 수 있습니다: https://docs.litellm.ai/docs/proxy/users