r/ClaudeAI•약 2개월 전•20•19
AI API 관리 방법
Managing AI APIs
핵심 요약
AI 사용량 증가에 따른 비용 추적과 팀별 사용량 파악의 어려움을 해결하기 위한 관리 방안을 논의합니다.
- 비용 추적 — 팀별/프로젝트별 AI 사용량과 비용을 매핑하는 방법 고민함.
- 관리 효율성 — 승인 절차 없이 모델 변경과 사용량 가시성을 확보하려 함.
- AI 게이트웨이 — LiteLLM 등 게이트웨이를 도입해 가상 키로 사용량을 추적하는 방안 논의됨.
- 태깅 전략 — 모델 선택과 무관하게 워크플로우별로 비용을 귀속시키는 구조를 검토함.
제목이 모호해서 미안함.
지난 한 해 동안 우리는 AI 통합을 하나만 사용하는 것에서 여러 공급업체와 모델을 사용하는 방식으로 확장했음.
엔지니어링 팀은 제품 기능을 위해 API를 호출하고, 내부 툴은 워크플로우에 따라 다른 모델을 쓰며, 몇몇 팀은 자체 AI 프로젝트를 실험 중임.
예산 담당자로서 이제는 AI 사용 현황을 제대로 파악하지 못하고 있음. 청구서는 알지만, 어느 팀이 비용을 제일 많이 쓰는지, 어떤 모델이 자주 쓰이는지, 특정 프로젝트가 예상치 못한 비용을 유발하는지, 더 싼 모델로 대체 가능한지 등을 알기 어려움.
엔지니어들에게 모델 사용을 강제하거나 모든 변경 사항에 승인 절차를 거치게 하고 싶지는 않음. 다만 AI 비용이 한 달 만에 30% 뛸 때 그 이유를 알 수 있을 정도의 가시성은 필요함.
성장하는 팀들 사이에서 AI를 관리하는 사람들의 의견을 듣고 싶음. 다들 어떻게 하고 있음?
