3,600억 토큰, 300만 고객, 엔지니어 단 6명

핵심 성과 요약

• 새로운 프로덕션 에이전트를 하루 만에 고객에게 배포

• AI 기능과 에이전트가 하루 약 11억 토큰(연간 3,600억 토큰) 처리

• 엔지니어, PM, 디자이너 1인당 10배의 생산성

• 셀프 호스팅 대비 인프라 비용 3~4배 절감

Durable는 명확한 목표 하나에서 출발했다. 사업을 운영하는 일이 직장에 다니는 것보다 쉬워야 한다는 것.

미국 성인의 60%는 자기 사업을 하고 싶다고 말하지만, 실제로 실행에 옮기는 비율은 4%에 불과하다. Durable의 판단은 이렇다. 문제는 의지가 아니라 마찰이다. Durable 창업자 James Clift는 이렇게 설명한다. "소규모 사업자는 수많은 툴, 로그인, 워크플로, 디자인에 치이며 서서히 지쳐갑니다. 이런 장벽을 걷어내면, 사업자는 비로소 고객에게 집중할 수 있죠."

현재 Durable는 창업자가 몇 분 만에 사업을 시작하고, SEO·콘텐츠·운영 등을 처리하는 에이전트로 사업을 최적화할 수 있도록 돕는 AI 비즈니스 빌더다. 아이디어에서 사업 개시까지의 거리가 이토록 짧았던 적은 없었다.

고객 입장에서는 하나의 매끄러운 경험이지만, 내부적으로는 수백만 개의 개별 비즈니스를 안전하고 안정적이며 비용 효율적으로 운영해야 하는 멀티테넌트·멀티프로덕트 플랫폼이다.

규모가 커질수록 셀프 호스팅을 위해 여러 서비스를 수동으로 운영하는 일 자체가 별도의 제품을 만드는 것만큼 손이 갔다.

소규모 팀이었던 Durable는 점진적 개선 대신 과감한 통합을 택했다. 코드베이스 하나, 인프라 플랫폼 하나로.

인프라는 어렵고, 멀티테넌트 인프라는 더 어렵다

Durable가 서비스하는 것은 앱 하나가 아니다. 수백만 개의 고객 사이트, CRM, 에이전트를 관리하며, 각각의 트래픽 패턴과 운영 요구사항이 모두 다르다.

어떤 고객 사이트는 다른 사이트의 100배에 달하는 트래픽을 받기도 하고, 멱법칙(power law)은 금세 나타난다. 트래픽이 급증하면 소수의 고객이 컴퓨팅 자원의 대부분을 소비하게 되는데, 이 때문에 비용 격리, 비용 귀속, 가격 전략이 만만치 않은 엔지니어링 과제가 됐다.

Khan은 셀프 호스팅 시절 가장 극심했던 문제점을 몇 가지 꼽았다:

• SaaS 규모의 커스텀 도메인 및 SSL 관리. 커스텀 도메인의 SSL 종료(termination)에만 수천 달러가 들었다

• 멀티 리전 클러스터 유지보수. 여러 지역에 걸친 클러스터를 운영하려면 전담 인프라 엔지니어가 필요했다

• 멀티테넌트 환경의 보안 및 봇 차단. 특정 고객을 겨냥한 DDoS 공격이 다른 고객의 사이트 성능까지 저하시키지 않도록 해야 했다

• 수백만 테넌트에 걸친 옵저버빌리티 및 비용 귀속

AI를 내부 배관에서 핵심 제품으로

Durable가 제공하는 것은 웹사이트만이 아니다. 멀티 에이전트, 멀티 모델, 멀티 모달 제품으로 고객의 사업 운영 전반을 돕는다.

에이전트가 플랫폼의 핵심으로 자리 잡으면서, 개발팀은 웹사이트 플랫폼 셀프 호스팅과는 본질적으로 다른 세 가지 문제에 직면했다:

1. 모델 오케스트레이션: 안정성과 비용 최적화를 위해 모델과 공급자를 빠르게 전환할 수 있어야 했다. 장기 계약에 종속되거나, 장애가 발생하거나 새 모델이 출시될 때마다 시스템 전체를 뜯어고치는 일은 피해야 했다.

2. 테넌트 격리: 멀티테넌트 에이전트 시스템에서 "컨텍스트 유출(context spilling)"은 치명적이다. 한 비즈니스의 컨텍스트가 다른 비즈니스의 워크플로에 절대 흘러들어가지 않도록 엄격한 가드레일이 필요했다.

3. 고객별 AI 비용 관리: AI 워크로드는 고객마다 편차가 크기 때문에, 사용량 기반 또는 성과 기반 과금을 정확히 구현하려면 고객 단위로 실행 횟수, 모델, 비용을 세밀하게 파악할 수 있어야 했다.

셀프 호스팅과 AI 인프라를 동시에 관리하는 일은 6명으로 구성된 Khan의 팀에게 큰 부담이었다. 그래서 그는 플랫폼 전체를 멀티테넌트 AI 워크로드에 최적화된 단일 시스템으로 통합하기로 결정했다.

마이그레이션, 그리고 성공한 이유

팀은 기존 스택이 고객 문제와 플랫폼 과제를 빠르게 해결하는 데 한계가 있다는 것을 깨달았다. 경쟁에서 이기려면 현재의 문제뿐 아니라 앞으로 닥칠 과제까지 경쟁사보다 빠르게 풀어야 한다는 확신이 있었다. Khan은 이렇게 설명한다. "우리는 AI 네이티브 애플리케이션입니다. AWS 인프라를 구축하는 데 시간을 쓸 게 아니라, 에이전트로 가치를 만드는 데 집중해야 합니다."

Khan은 Vercel의 단순함 덕분에 앱 마이그레이션이 가능했다고 말한다. 그는 이번 인프라 전환을 코드를 손대기 전에 단번에 실행한 결정적 한 수로 묘사했다. "기존 제품을 iframe으로 감싸서 Vercel에 프로덕션 배포한 뒤, 셀프 호스팅 인프라를 통째로 걷어냈습니다."

기존 방식으로 리팩터링하지 않았다. 소규모 팀인 Durable는 코딩 에이전트를 활용해 전면 재작성을 가속했고, 모델이 개선될수록 토큰을 아낌없이 태우며 속도를 높인 끝에 프로덕션 수준의 코드베이스를 완성했다.

Khan은 말한다. "누구나 제품을 처음부터 다시 짜지 말라고 합니다. 하지만 우리는 정확히 그렇게 했고, 결과는 성공이었습니다."

비용 절감이 마이그레이션의 동기는 아니었지만, 새 인프라는 비용 효율 면에서도 훨씬 뛰어난 것으로 나타났다.

현재 Durable의 전체 스택은 Vercel 위에서 운영되며, 새로운 에이전트를 하루 만에 고객에게 배포할 수 있다.

10배의 레버리지로 더 많은 창업자 지원

Durable는 300만 개 이상의 비즈니스를 지원하고 있다. Khan은 이렇게 말한다. "박람회에서 초콜릿 바나나를 파는 19살 청년, 텍사스에서 현관 장식 사업을 하는 사람, 막 자격증을 딴 배관공, 해고된 뒤 새 길을 찾는 테크 업계 임원까지. 이들 모두가 9 to 6를 거부하고 창업자로서 자신의 미래를 만들어가는 Durable 고객입니다."

엔지니어 6명, DevOps 팀 없이 이룬 성과라는 점에서 더욱 인상적이다. Durable 창업자 James Clift는 Vercel 위에서 운영하며 체감하는 레버리지가 100배에 달한다고 말한다.

Clift는 이렇게 회고한다. "이렇게 작은 팀으로 이만큼을 만들어냈다는 게 놀랍습니다. 앞으로 모든 테크 기업이 이런 방식으로 운영하게 될 겁니다."