AI Gateway에 가상 모델(virtual model) 기능 도입

오늘 가상 모델(Virtual Models) 기능을 AI Gateway에 도입합니다.

가상 모델은 앱과 개발자가 쓰는 모델 문자열과 설정을 한 단계 추상화한 개념입니다. 가상 모델 ID 하나만 있으면 모델을 바꾸거나 업데이트하고, 폴백(fallback)과 우선순위를 설정하고, Zero Data Retention을 중앙에서 강제할 수 있습니다. 가상 모델 설정은 해당 ID가 쓰이는 모든 곳에 적용됩니다.

에이전트 작업마다 가상 모델 ID를 하나씩 할당하고, 그 작업을 호출하는 곳에서 이 ID를 모델 문자열로 넘기면 됩니다. 이후 AI Gateway에서 가상 모델 ID에 연결된 모델과 설정을 바꾸면, 앱과 에이전트가 새 설정을 자동으로 반영합니다. 코드를 수정하거나 다시 배포할 필요가 없습니다.

새 모델이 나와도 같은 가상 모델 ID를 그대로 사용

최근 90일 동안 10곳이 넘는 연구소의 새 모델 125개가 AI Gateway에 추가되었습니다. 일주일에 약 10개꼴입니다. AI Gateway에서는 이미 코드 한 줄만 고치면 모델을 바꿀 수 있습니다. 어떤 모델이든 ID로 호출하면, AI Gateway가 정상 작동하는 프로바이더로 요청을 보내고, 장애가 나면 다른 프로바이더로 폴백할 수 있습니다.

하지만 그 한 줄은 여전히 코드에 남아 있어서, 모델을 바꾸려면 보통 다시 배포해야 합니다.

가상 모델은 모델 선택과 설정을 AI Gateway로 옮겨 줍니다. 먼저 vmc/coding-agent처럼 작업별 ID를 만든 다음, 사용할 모델과 설정을 지정합니다.

vercel ai-gateway virtual-models create coding-agent \
  --model anthropic/claude-opus-5.5 \
  --config '{"speed":"fast","zeroDataRetention":true}'

그런 다음 해당 작업이 실행되는 곳마다 이 가상 모델 ID를 모델 문자열로 사용하면 됩니다.

import { streamText } from 'ai';

const result = streamText({
  model: 'vmc/coding-agent',
  prompt: 'Remove the deprecated API calls from this module.',
});

Claude Code, Codex 같은 코딩 에이전트는 vercel ai-gateway setup로 연결한 뒤, 각 하네스(harness)의 모델 선택기나 설정에서 만들어 둔 가상 모델을 고르면 됩니다.

다른 프로바이더의 모델을 포함해 새 모델을 쓰고 싶다면 가상 모델을 수정하세요. vmc/coding-agent를 호출하는 모든 앱과 에이전트에 몇 분 안에 변경 사항이 반영되며, 코드 수정이나 배포는 필요 없습니다.

vercel ai-gateway virtual-models edit coding-agent --model openai/gpt-6.1-sol

작업마다 맞는 모델을 따로 지정

지원 티켓 분류 같은 에이전트 작업은 시간당 수백 번 실행될 수 있어 비용이 낮아야 합니다. 반면 법률 계약서 검토 같은 작업은 하루에 몇 번만 실행되더라도 높은 수준의 추론 능력이 필요합니다.

이제 작업마다 목적에 맞는 가상 모델을 지정하고, 시간이 지나면서 모델과 설정을 손쉽게 발전시켜 나갈 수 있습니다.

폴백, Zero Data Retention, 태그 같은 설정은 모델을 바꿔도 가상 모델에 그대로 유지됩니다. 프로바이더 옵션은 프로바이더별로 적용되므로, 가상 모델이 가리키는 대상을 OpenAI 모델로 바꾸면 Anthropic 전용 설정은 더 이상 적용되지 않습니다. 프로바이더를 바꿀 때는 프로바이더 옵션을 꼭 다시 확인하세요.

프로덕션 트래픽을 처리하는 가상 모델을 바꾸기 전에는 vmc/coding-agent-candidate 같은 두 번째 가상 모델을 새 모델에 연결하고 평가(eval)를 먼저 돌려 보세요. 전환 후 품질이 떨어지면 원래 가상 모델이 이전 모델을 가리키도록 되돌리면 됩니다.

팀이 사용하는 모델과 사용 방식을 관리

팀의 누구든 가상 모델을 호출할 수 있고, 수정 권한은 팀 역할로 제어합니다. 플랫폼 팀과 보안 팀은 모델과 설정을 중앙에서 관리하고 테스트하면서도, 새 모델이 출시되면 각 팀이 바로 쓸 수 있도록 손쉽게 열어 줄 수 있습니다.

가상 모델에 지정한 설정은 요청에 담긴 같은 설정보다 우선합니다. 그래서 호출하는 쪽에서 프로바이더 순서, 폴백, 서비스 티어(service tier)를 덮어쓸 수 없습니다. 예를 들어 vmc/storefront-assistant의 폴백 모델을 중앙에서 설정해 두면, 요청에 다른 폴백이 지정되어 있더라도 이 가상 모델 ID를 쓰는 모든 앱이 동일한 페일오버 설정을 따릅니다.

가상 모델이 Zero Data Retention이나 요청 데이터로 학습하지 않는 프로바이더를 요구하는 경우, 요청에서 zeroDataRetention나 disallowPromptTraining을 false로 명시하더라도 해당 설정이 그대로 강제됩니다.

가상 모델의 태그는 요청과 함께 전달된 태그를 대체합니다. 따라서 앱마다 태그를 어떻게 붙이든 비용은 해당 작업 기준으로 집계됩니다. 가상 모델 페이지에서는 작업별 요청 수, 지출, 성공률을 확인할 수 있습니다.

시작하기

팀 대시보드나 Vercel CLI로 가상 모델을 만들 수 있습니다.

AI Gateway 소개

AI Gateway는 모델 호출, 사용량과 비용 추적, 재시도·페일오버·성능 최적화 설정을 하나의 통합 API로 제공하며, 프로바이더 단독 운영보다 높은 가동률을 목표로 합니다. 맞춤 리포트, Zero Data Retention 지원, API 키별 예산, 라우팅 규칙 등의 기능도 기본으로 갖추고 있습니다.

AI Gateway는 프로바이더 가격을 그대로 반영하며 추가 요금(markup)이 없습니다. 자체 키 사용(Bring Your Own Key)(BYOK) 요청을 포함해 추론에 대한 플랫폼 수수료도 받지 않습니다.

가상 모델은 이미지, 비디오, 음성, 임베딩, 실시간 모델을 비롯해 AI Gateway의 모든 모델 유형에서 쓸 수 있으며, AI SDK와 OpenAI·Anthropic 호환 API에서도 동작합니다. 전체 설정은 가상 모델 문서에서 확인하세요.

기여자