AI 프로덕션 운영 중 겪은 최악의 '요금 폭탄' 사례는?

내가 본 최악의 사례는 모델의 출력값이 다시 컨텍스트로 입력되는 피드백 루프였는데, 매 턴마다 전체 기록이 다시 추가되면서 비용이 기하급수적으로 늘어났어. 해결책은 컨텍스트를 강제로 자르고 세션당 토큰 예산을 설정하는 것뿐이었지.

가장 큰 교훈: 다른 거 하기 전에 API 제공업체 수준에서 일일 지출 한도부터 설정해. 그 이후에 하는 건 다 튜닝일 뿐이야.

Openrouter:free를 쓰는 Openclaw가 하루에 몇 번씩 '오늘의 스포츠 뉴스 보내줘' 같은 작은 크론 잡을 돌리다가 이틀 만에 2억 6천만 토큰을 잡아먹었어. 으악.

인프라 제공자 입장에서(추론 인프라를 운영해서 이런 청구서를 많이 봄), 무서운 청구서와 정상적인 청구서를 가르는 세 가지 레버는 하드 캡, 캐시 관리, 라우팅이야.

1. 다른 거 하기 전에 API 수준에서 일일 지출 한도를 설정해. 놀랄 일을 통제된 실패로 바꿔주거든. 이건 프로젝트가 아니라 그냥 설정값이야.

2. 에이전트 루프에서는 모델 선택보다 캐시 관리가 훨씬 중요해. 모든 도구 호출이 컨텍스트를 다시 보내기 때문에, 캐싱되지 않은 컨텍스트에서 비용이 폭발하는 거야.

클라이언트의 에이전트 워크플로우가 실패한 도구 호출을 밤새 6시간 동안 루프 돌면서 재시도한 적이 있어. 재시도할 때마다 실패한 단계만 하는 게 아니라 전체 컨텍스트를 다시 로드하더라고. 작은 모델이라 비용은 괜찮았지만, 아니었으면 큰일 날 뻔했지. 실제 해결책은 API 속도 제한이 아니라 작업당 재시도 횟수에 하드 캡을 걸고, 비용은 실제 문제보다 몇 시간 늦게 반영되니까 비용이 아니라 재시도 횟수에 알림을 거는 거였어.

무서운 점은 작은 루프 하나가 통제 불능이 되어 아무도 눈치채지 못한 사이에 엄청난 청구서로 바뀔 수 있다는 거야. 그래서 일반적인 비용 절감 팁보다는 실제 프로덕션 사례가 훨씬 유용해.