Zo Computer가 Vercel에서 AI 안정성을 20배 높인 방법

Vercel 위의 Zo Computer

• 재시도율 20분의 1로 감소 (7.5% → 0.34%)

• 채팅 성공률 99.93% 달성 (기존 98%에서 상승)

• P99 지연 시간 38% 단축 (131초 → 81초)

• 새 모델 지원, 1분 이내 추가 가능

모든 기업에는 데이터를 저장하고 서비스를 운영하며 24시간 쉬지 않고 돌아가는 서버가 있다. 하지만 일반 소비자에게 주어진 것은 앱뿐이다. Zo Computer의 공동 창업자 Rob Cheung은 바로 이 간극을 메우고 있다. Zo는 개인 AI 클라우드다. 언제나 켜져 있는 에이전트를 구동하는 나만의 서버와 데이터를 제공한다.

"클라우드는 역대 최고의 컴퓨팅 모델 중 하나입니다. 그런데 너무 복잡하다 보니 일반 소비자는 직접 접근할 방법이 전혀 없죠." Zo의 공동 창업자 겸 CEO인 Rob Cheung은 이렇게 설명했다. "이제 AI 덕분에 누구나 클라우드 컴퓨터를 가질 수 있는 시대가 드디어 열렸습니다."

Zo는 단순한 챗봇이 아니라 완전한 컴퓨팅 환경이다. Rob은 자신의 어머니가 서버와 데이터베이스를 운영하면서도 그 사실을 전혀 모른다는 이야기를 웃으며 꺼낸다. 사람들은 Zo를 통해 소규모 사업을 관리하고, 조사 업무를 처리하고, 재무를 정리하고, 건강 데이터를 추적한다.

8명으로 구성된 이 팀은 창업한 지 2년 반이 됐다. 목표는 야심 차다. 2026년까지 개인 클라우드 컴퓨팅 신규 사용자 100만 명을 확보하는 것이다. 이는 매일 수백만 건의 AI 모델 호출을 의미하며, Zo 사용자들은 친구에게 문자를 보내듯 에이전트와 대화하면서 동일한 수준의 응답성을 기대한다.

어댑터 파편화라는 함정

Zo는 사용자가 원하는 모델을 자유롭게 선택할 수 있도록 지원하며, 자신의 API 키를 직접 가져와 쓰는 방식도 허용한다. 그 말은 백엔드가 OpenAI, Anthropic, MiniMax, GLM, Fireworks 등 주요 AI 제공업체 모두와 통신해야 한다는 뜻이다.

Vercel로 이전하기 전까지는 각 모델마다 별도의 커스텀 어댑터 코드를 작성해야 했다. 이미지 처리 방식, 키 관리 방법, 예외 케이스 처리까지 제공업체마다 달랐기 때문이다. 코드 복잡도 문제 외에도, Zo 팀은 재시도 로직, 제공업체 라우팅, 폴백 처리까지 직접 구현하고 관리해야 했다.

제공업체가 새 모델을 출시할 때마다 엔지니어가 새 어댑터를 작성하고 예외 케이스를 테스트하고 배포 파이프라인을 돌려야 했다. 매주 새로운 모델이 쏟아지는 상황에서 이는 소비자 제품을 만드는 소규모 팀에 지속적인 부담이 됐고, 그 여파는 사용자들에게도 고스란히 전해졌다.

Vercel 도입 전 Zo의 AI 모델 호출 기준선은 성공률 98%에 재시도율 7.5%였다. 메시지 50건 중 1건이 실패하거나 재시도가 발생한다는 의미로, 매일 수만 건의 모델 폴백이 쌓이고 있었다.

AI SDK + AI Gateway: 두 계층, 하나의 통합

Zo는 Vercel의 AI SDK와 AI Gateway를 도입해 서로 다른 두 가지 문제를 해결했다.

AI SDK는 커스텀 어댑터 코드를 대체했다. 제공업체별로 예외 케이스를 따로 처리하는 구현 방식 대신, 이미지 지원부터 응답 형식 정규화까지 모든 모델을 아우르는 통합 인터페이스를 갖추게 됐다.

AI Gateway는 인프라 수준의 복잡성을 걷어냈다. 재시도, 폴백 라우팅, 제공업체 상태 모니터링, 가용성 관리가 모두 Zo의 코드베이스 밖에서, Vercel의 라우팅 계층 안에서 처리된다.

Rob의 공동 창업자는 Stripe에서 개발자 경험을 제품으로 만드는 API를 구축한 경험이 있다. 그는 AI SDK와 AI Gateway의 결합 효과를 같은 맥락에서 설명한다. 모든 것이 그냥 작동하고, 눈에 보이지 않는 부분이 오히려 가장 중요하다고.

새 모델 지원 추가에 걸리는 시간이 여러 파일을 수정하는 한 시간짜리 작업에서 설정 문자열 하나를 추가하는 30초짜리 작업으로 바뀌었다. MiniMax가 M2.7을 출시한 당일, Zo는 곧바로 사용자들에게 해당 모델을 제공했다. 어댑터 코드도, 예외 케이스 테스트도, 배포 사이클도 필요 없었다.

개인 클라우드 컴퓨팅의 첫 번째 100만 사용자 확보에 집중하고 있는 8인 팀에게, 모델 지원 작업으로 인한 업무 중단이 사라진 것은 큰 숨통이 트이는 변화였다.

안정성 20배 향상

전환 기간 동안 Zo는 Vercel 경로와 비(非) Vercel 경로를 동시에 운영해 동일한 프로덕션 환경에서 실시간 A/B 비교를 진행했다.

결과는 다음과 같다.

Vercel이 안정적인 성능을 유지하는 동안, Non-Vercel 경로의 지표는 오히려 악화됐다. 재시도율은 7.5%에서 0.34%로 떨어져 20배 개선됐다. 채팅 1회당 평균 시도 횟수는 1.00에 도달했는데, 사실상 모든 요청이 첫 번째 시도에서 성공한다는 의미다.

Zo에서 가장 많이 사용되는 모델인 MiniMax M2.5의 지연 시간 개선도 눈에 띄었다. 동일한 기간을 대상으로 동등한 조건에서 비교했을 때, Vercel은 18,139건의 채팅을 처리했고 Non-Vercel은 21,105건을 처리했지만, Vercel이 전 지표에서 더 나은 성능을 보였다.

• 평균 지연 시간 25.7% 개선

• P95: 46초 → 34초 (25% 개선)

• P99: 131초 → 81초 (38% 개선)

Zo 사용자들은 하루 종일 수시로 에이전트에 메시지를 보내기 때문에 P99 수치가 가장 중요하다. 최악의 경우 131초를 기다려야 한다면 사용 경험이 완전히 무너지지만, 이제는 요청의 99%가 81초 안에 완료된다.

테스트가 끝날 무렵, Zo 트래픽의 91.88%가 Vercel을 통해 라우팅됐다. Non-Vercel 경로보다 평균 컨텍스트 윈도우가 3.3배 더 큰 요청(평균 입력 토큰 42,500개 vs. 12,700개)을 처리하면서도 오류율은 더 낮았다.

100만 개인 클라우드 사용자를 향해

Vercel은 AI SDK와 AI Gateway를 통해 Zo의 AI 계층을 담당하고, 마케팅 사이트 호스팅도 맡고 있다. 안정적인 AI 인프라와 더 이상 유지보수할 어댑터 코드가 없어진 덕분에, 팀은 배관 작업 대신 제품 자체에 집중할 수 있게 됐다.

AI 모델 개발 속도가 워낙 빠르다 보니, Rob은 예전에는 따라잡기 위한 작업량이 걱정됐다고 한다. "이제는 걱정하지 않아요. Vercel 덕분에 인프라가 알아서 돌아가니까요."

Zo Computer는 모든 사용자에게 자신만의 클라우드 컴퓨터를 제공하는 개인 AI 클라우드 플랫폼이다. 데이터와 서비스, 개인 에이전트를 하나의 환경에서 운영할 수 있으며, iMessage 같은 대화형 인터페이스로 상호작용하거나 직접 로그인해 환경을 사용할 수 있다. 창업한 지 2년 반이 된 Zo는 뉴욕에 기반을 둔 8인 팀이다. 자세한 내용은 zo.computer에서 확인할 수 있다.