AI Gateway 사용 현황을 한눈에 보는 통합 리포팅

AI 기능을 운영 중이라면 사용량 데이터는 이미 쌓이고 있습니다. 문제는 그 데이터가 공급자, API 키, 대시보드별로 흩어져 있어서, 청구서가 날아오기 전에 기본적인 질문에도 답하기 어렵다는 점입니다.

아마 많은 분이 사후 정산에 익숙해져 있을 겁니다. 공급자 콘솔은 자기네 데이터만 보여주니, 결국 CSV를 내려받아 스프레드시트에서 뷰를 다시 만들게 되고, 그러고도 정작 중요한 맥락—태그, 기능 경계, 내부 사용자 ID 같은 정보—은 빠져 있기 일쑤입니다. 여기에 BYOK까지 들어오면 상황은 더 복잡해집니다. 사용자가 가져오는 키마다 비용과 사용량이 제각각 흩어지기 때문입니다.

AI Gateway용 Custom Reporting API가 Pro 및 Enterprise 플랜 팀을 대상으로 베타 출시되었습니다. 이 API를 통해 AI Gateway 트래픽 전반의 비용, 토큰 사용량, 요청 볼륨에 프로그래밍 방식으로 접근할 수 있으며, BYOK 요청도 포함됩니다.

모델, 공급자, 사용자 ID, 커스텀 태그, 크리덴셜 유형별로 비용을 세분화할 수 있습니다. 덕분에 기능별, 최종 고객별, 요금제별 비용과 사용량을 단일 엔드포인트에서 추적할 수 있습니다. Claude Code를 통해 실시간으로 쿼리하는 것도 가능합니다.

한 플랫폼이 $80K를 절감한 사례

20만 명 이상의 사용자에게 여러 모델을 통합 제공하는 한 AI 플랫폼은, 기존에 공급자별 비용을 추적하기 위해 별도의 프록시 레이어를 운영하고 있었습니다. Custom Reporting 비공개 베타 기간 중 비용 추적과 요청 관리를 단일 시스템으로 통합하면서 서드파티 프록시를 완전히 대체했고, $80K 이상의 비용을 절감했습니다.

이 플랫폼은 이제 Advanced Reporting의 커스텀 태그와 사용자 ID를 활용해 모델별 고객 사용량과 비용을 추적하고 있으며, 추론이 실행되는 동일한 환경에서 비용 데이터에 프로그래밍 방식으로 접근하고 있습니다.

리포팅 API 구현하기

요청에 user과 tags를 태깅하면, 제품팀과 재무팀이 이해할 수 있는 기준으로 비용을 귀속시킬 수 있습니다. 고객 대상 AI 기능을 운영한다면, 각 요청에 고객 ID, 요금제, 사용 중인 기능을 태그로 붙이면 됩니다.

태깅은 AI SDK, Chat Completions API, Responses API, OpenResponses API, Anthropic Messages API 모두에서 작동합니다. 어떤 인터페이스나 언어를 사용하든, 데이터는 동일한 리포팅 엔드포인트에 수집됩니다.

커스텀 리포팅 엔드포인트를 쿼리하면 다음과 같은 답을 얻을 수 있습니다:

이 시점부터 리포팅은 사후 정산 작업이 아니라, 운영 프로세스의 일부로 자리 잡습니다. 전체 Enterprise 팀에 걸쳐 단일 기능의 비용을 측정하고, 무료 티어 사용자 중 업그레이드 시점에 가까운 사용자를 파악하며, 가격 정책을 변경하기 전에 요청당 단위 경제성을 산출할 수 있습니다.

아래 내용은 BYOK와 시스템 크리덴셜 모두에 적용됩니다. 사용자가 자체 API 키를 사용하든 AI Gateway 크레딧으로 결제하든, 리포팅 API가 한곳에서 모두 수집합니다.

수집된 결과를 활용하면, 고객별·기능별 비용을 추적해 실제 지출 흐름을 파악하고, 모델 및 공급자별 내부 사용량을 모니터링해 청구서에 반영되기 전에 급증을 감지하며, 이 데이터를 기반으로 예산 설정, 마진 산출, 실제 단위 경제성에 근거한 가격 결정까지 수행할 수 있습니다.

모든 트래픽이 단일 리포팅 엔드포인트를 통과하면, AI 비용도 다른 프로덕션 지표처럼 관리할 수 있습니다. 제품 구조에 맞게 요청을 태깅하고, 리포팅 엔드포인트를 주기적으로 쿼리하고, 그 결과를 활용해 예산을 설정하고, 기능별 가격을 책정하고, 사용량 변화가 예기치 않은 문제로 번지기 전에 미리 감지하세요.

AI Gateway 문서에서 자세한 내용을 확인하고, 지원되는 모델 및 공급자 목록도 살펴보세요.