LLM 게이트웨이 비교: OpenRouter vs Concentrate.ai vs Portkey vs LiteLLM

우리 제품에 AI 기능 붙이려고 LLM 게이트웨이 도입하기 전에 2주 정도 빡세게 검토해 봤다. 내부 문서로 정리했던 건데 공유하면 도움 될 것 같아서 올림. 광고 아니고 진짜 솔직한 비교임. 우리가 만드는 건 B2B SaaS고, 인앱 어시스턴트, 에이전트 워크플로우 몇 개, 그리고 밤마다 돌아가는 배치 작업이 있음. 모델은 상황에 맞춰서 여러 개 섞어 써야 함(에이전트용은 Claude, 구조화 추출은 GPT, 싸고 물량 많은 건 Gemini Flash). 1년 차엔 월 200만 콜 정도 예상하고, 2년 차엔 2,500만~3,000만 콜까지 보고 있음. 고객 데이터 다루니까 PII(개인정보) 마스킹이랑 감사 로그는 선택이 아니라 필수임. 백엔드는 Python, 프론트엔드는 TypeScript, 엔지니어는 4명.

OpenRouter. 특징: OpenAI 호환 엔드포인트 하나로 60개 넘는 제공업체의 400개 이상 모델을 다 씀. 결제는 한 번에, 서버 터지면 자동으로 우회, 라우팅 모드(가격순, 처리량순, 자동 라우팅) 지원. 장점: 접근성이랑 속도가 깡패임. 가입하고 베이스 URL 하나만 박으면 어제 나온 따끈따끈한 모델까지 바로 쓸 수 있음. 폴백(fallback) 기능 덕분에 특정 업체 서버 터져도 우리 서비스는 안 죽음. 종량제라 약정이나 최소 사용량 같은 거 없음. 프로토타이핑하거나 "요즘 트위터에서 핫한 그 모델" 찍먹해볼 땐 이거만 한 게 없음. 단점: 관리형 제3자 서비스라 데이터 경로에 끼어 있는데, 거버넌스 수준이 좀 낮음. 관측성(observability)도 그냥 기본 수준(사용량 분석은 되는데 진짜 트레이싱은 안 됨). 제대로 된 RBAC(역할 기반 접근 제어)나 SSO도 없고, 팀별 예산 설정도 허접함. 규모 커지면 수수료도 무시 못 함. 크레딧 충전할 때 5.5% 떼고, 자기네 API 키 가져다 쓰면 사용료의 5%를 또 떼감.

Concentrate.ai. 특징: 14개 제공업체의 120개 넘는 모델을 OpenAI 호환 API로 쓸 수 있음. 근데 오케스트레이션(라우팅, 분석, 로그, 비용 관리)이 공짜임. 민감 정보 자동 마스킹, RBAC, 중앙 키 관리, 감사 기능이 기본으로 박혀 있음. 모델 자동 라우팅이랑 다중 제공업체 중복 구성도 되고, Cursor, Claude Code, Cline, OpenCode 같은 툴에 바로 꽂아서 쓸 수 있어서 특정 벤더 모델에 묶일 일 없음. 장점: OpenRouter의 편리함이랑 엔터프라이즈급 거버넌스/마스킹 기능을 제품 하나로 다 해결해 주는 유일한 옵션임. PII 마스킹 기능이 우리한테는 진짜 핵심이었는데, 이거 없었으면 호출할 때마다 우리가 직접 마스킹 로직 짜고 관리했어야 함. 최소 사용량이나 약정 없는 토큰 크레딧 방식임. 엔지니어 6명 .env 파일에 API 키 흩뿌려 놓을 필요 없이 중앙에서 접근 제어 가능한 것도 큼. 단점: OpenRouter보다 신생이고 규모가 작음.

Portkey. 특징: 제대로 된 프로덕션 컨트롤 플레인임. 1,600개 넘는 모델 게이트웨이, 딥한 관측성(요청당 40개 넘는 메트릭, 로그, 트레이스), 단순/시맨틱 캐싱, 가상 키가 있는 키 볼트, 가드레일, 프롬프트 관리까지 다 됨. 엔터프라이즈 등급으로 가면 RBAC/SSO/예산 관리랑 SOC2/HIPAA 인증도 챙겨줌. 오픈소스 게이트웨이 코어 기반에 관리형 플랫폼 얹은 형태고, 셀프 호스팅도 가능함. 장점: 팀이 여러 개 생기고 재무팀에서 "이거 돈 어디서 이렇게 많이 나가?"라고 쪼기 시작할 때 넘어가는 곳임. 시맨틱 캐싱 쓰면 반복 작업 비용 확 줄어듦. 관측성은 여기 4개 중에 압도적 1위임. 단순 카운터가 아니라 진짜 트레이싱을 보여줌. 단점: 가격 모델이 "기록된 로그 수" 기준인데, 예산 짜기 진짜 애매함. 무료 티어는 월 1만 로그, 프로는 월 49달러에 10만 로그, 추가 10만 로그당 9달러고 월 300만 로그 제한 있음. 2년 차에 월 2,500만~3,000만 콜 찍으면 무조건 커스텀 엔터프라이즈 견적 받아야 하고, 진짜 필요한 거버넌스 기능(RBAC, SSO, VPC)은 다 그쪽에 박혀 있음.

LiteLLM. 특징: 셀프 호스팅 가능한 오픈소스 프록시의 끝판왕. OpenAI 호환, 100개 넘는 제공업체 지원, 가상 키, 팀별 예산, 폴백, 재시도, 토큰 카운트 기반 로컬 비용 추적 다 됨. 아파치 라이선스고 컨테이너 하나로 띄우면 끝임. 장점: 0에 가까운 마진...