r/langchain•5개월 전•1•9
AI 에이전트 빌링을 위한 요청 단위 비용 한도 기능 출시 (월간 한도로는 부족함)
We just shipped per-request ceilings for agent billing (monthly caps aren't enough)
핵심 요약
AI 에이전트의 예기치 못한 비용 폭탄을 방지하기 위해 실행 전 비용을 예측하고 요청 단위로 한도를 설정하는 'AgentBill'을 출시함.
- 비용 관리 — 에이전트 실행 전 비용을 예측하고 한도를 초과하면 연산을 차단함.
- 실시간 제어 — 월간 한도와 달리 런어웨이 루프를 즉시 감지하여 예산 낭비를 방지함.
- 사용자 정의 — 사용자가 직접 예상 단위를 설정하여 호출당 최대 비용을 관리함.
- 무료 티어 — 신용카드 등록 없이 월 1,000회의 사전 검사 호출을 지원함.
AI 에이전트를 위한 사전 검사 빌링 레이어인 AgentBill을 만들었습니다.
계속 들었던 문제는 월간 한도로는 단 한 번의 잘못된 실행을 막지 못한다는 점이었습니다. 3시간짜리 리서치 루프 한 번이면 월간 한도가 작동하기도 전에 예산을 다 써버릴 수 있죠.
그래서 요청 단위 한도 기능을 출시했습니다. 초기화 시 호출당 최대 비용을 설정하면, 예상 비용이 이를 초과할 경우 연산이 시작되기 전에 실행을 차단합니다.
from agentbill import AgentBillClient, CeilingExceededError
client = AgentBillClient(api_key="agb_...", ceiling=50)
try:
result = client.preflight("researcher", estimated_units=100)
# run your agent
except CeilingExceededError:
# blocked before compute starts — nothing wasted
무료 티어: 월 1,000회 사전 검사 호출, 신용카드 불필요.
아키텍처 관련 질문 환영합니다. 실제 운영 환경에서는 어느 정도의 한도 값을 사용하시나요? 레포지토리는 DM 주세요.
