AI Gateway 소개

참고: 이 블로그 글은 최신 정보가 아닙니다. 최신 내용은 이 페이지를 참고하시거나, 여기에서 문서를 확인하세요. Vercel AI Gateway가 알파 테스트로 공개되었습니다.

AI SDK 5 알파를 기반으로 구축된 Gateway를 사용하면, API 키 관리, 요청 제한(rate limit) 처리, 프로바이더 계정 관리 없이도 약 100개의 AI 모델을 자유롭게 전환할 수 있습니다. Gateway가 인증과 사용량 추적을 처리하며, 향후에는 과금 기능도 지원할 예정입니다.

AI SDK 5와 Gateway를 바로 시작해 보세요. 아래에서 자세한 내용을 확인할 수도 있습니다.

AI Gateway를 만드는 이유

현재 AI 발전 속도는 빠르며, 갈수록 더 빨라지고 있습니다.

거의 매주 새로운 최첨단 모델이 출시됩니다. 문제는 이런 환경에서 개발자가 특정 프로바이더나 모델 API에 종속될 수밖에 없다는 점입니다. 우리는 개발자가 10개씩이나 되는 API 키와 프로바이더 계정 없이도, AI의 발전 속도에 맞춰 빠르게 제품을 출시할 수 있도록 돕고 싶습니다.

프로덕션 AI 애플리케이션은 높은 수요로 인해 용량 부족이나 요청 제한 문제에 자주 부딪힙니다. 인프라 프로바이더들도 빠르게 모델을 배포하며 수요를 따라가고 있지만, 그 과정에서 성능이나 가용성이 희생되기도 합니다.

AI Gateway를 사용하면 여러 프로바이더에 걸쳐 로드 밸런싱을 하거나, 특정 프로바이더에 장애나 성능 저하가 발생했을 때 자동으로 다른 프로바이더로 전환할 수 있습니다. 모델 추론 비용은 계속 하락하고 있으며, 프로바이더들은 품질·성능·가격 경쟁을 벌이고 있습니다. Gateway를 통해 이러한 비용 절감 효과를 빠르게 누릴 수 있습니다.

우리는 v0를 수백만 사용자 규모로 확장하면서 여러 프로바이더 간 로드 밸런싱과 전환을 빠르게 처리해 온 경험을 쌓았고, 이 인프라를 AI Gateway라는 제품으로 발전시키고 있습니다.

AI SDK와의 통합

AI SDK는 텍스트, 이미지, 오디오 등 다양한 모달리티의 AI 모델 API를 하나의 공통 추상화 계층으로 다루기 위해 만들어졌습니다.

AI SDK는 무료 오픈소스이며, 어떤 모델이나 인프라 프로바이더와도 함께 사용할 수 있습니다. AI Gateway는 AI SDK 위에 구축된 별도의 Vercel 제품입니다.

두 제품은 높은 응집도와 느슨한 결합을 목표로 설계하고 있습니다. Gateway는 도구 호출(tool calling), 함수 인자, 스트리밍, 재시도, 첨부 파일, 구조화된 출력 등 AI SDK의 기능을 최대한 활용합니다.

가격 정책

AI Gateway 알파 기간에는 무료로 사용할 수 있으며, Vercel 플랜 등급에 따라 요청 제한이 적용됩니다. 요청 제한 수준은 현재 AI SDK Playground와 유사합니다.

Gateway가 정식 출시(GA)되면 종량제 과금을 지원할 계획입니다. 모델 가격은 프로바이더의 시장 요금을 따르며 정기적으로 업데이트됩니다. 향후 자체 API 키 연동(bring-your-own-key) 방식도 검토 중입니다.

앞으로의 계획

로드 밸런싱 및 모델 장애 시 자동 전환(failover)
종량제 과금
자체 API 키 연동 지원
통합 로깅, 사용량 추적, 옵저버빌리티
OpenAI 호환 API

AI Gateway 시작하기

알파 단계에서 공개하는 만큼, 여러분의 의견과 초기 피드백을 기다립니다. X에서 태그해 주시고, 작업 결과를 공유하거나 AI Gateway에 바라는 기능을 알려주세요.

아래 데모 애플리케이션으로 직접 시작해 보세요:

지원 모델 목록과 추가 사용 예제는 ai-sdk.dev/model-library에서 확인할 수 있습니다.