작업 난이도에 맞춰 가장 저렴한 모델로 라우팅해주는 Pi 패키지를 만들었습니다
I built a Pi package that routes each task to the cheapest model capable of handling it
핵심 요약
작업 복잡도와 비용을 분석해 최적의 AI 모델을 자동으로 선택해주는 Pi용 라우팅 도구 'Switchyard'를 소개합니다.
- 자동 모델 라우팅 — 작업 복잡도와 비용을 고려해 최적의 모델을 실시간으로 선택함
- 프로젝트 문맥 인식 — 코드베이스 구조와 의존성을 분석해 작업 난이도를 정교하게 분류함
- 비용 효율성 극대화 — 불필요한 고성능 모델 사용을 줄여 토큰 비용을 절감함
- 확장성 고려 — 현재 OpenRouter와 Codex를 지원하며 향후 다양한 공급자 연동 예정
Pi를 쓰면서 계속 같은 문제에 부딪혔어. 이름 바꾸기 같은 단순한 작업에 비싼 프론티어 모델을 쓰긴 싫은데, 그렇다고 싼마이 플래시 모델한테 아키텍처 재설계 같은 걸 맡길 수도 없잖아.
그래서 Switchyard를 만들었어.
이건 Pi 내부에서 돌아가면서 작업마다 알아서 적절한 모델이랑 추론 강도를 골라줘. OpenRouter의 실시간 카탈로그를 평가하고, 이미 구독 중인 Codex 용량까지 선택적으로 활용할 수 있지.
라우팅 기준은 다음과 같아:
- 작업 복잡도 (사소한 것부터 프론티어급까지)
- 모델 성능 및 컨텍스트 요구 사항
- 실시간 토큰 가격
- 도구 지원 여부
- 실제 신뢰도 및 지연 시간
- 실패했을 때 예상되는 비용
- 남은 구독 할당량
중요한 건 Pi가 여전히 주도권을 쥐고 있다는 거야. Switchyard는 Pi의 도구, 권한, MCP 서버, 세션, 인증 같은 걸 대체하지 않아. 그냥 어떤 모델이 작업을 처리할지, 얼마나 빡세게 추론할지만 결정할 뿐이지.
설치:
pi install npm:@vepando/switchyard
GitHub:
https://github.com/LeonardSEO/switchyard
아직 초기 단계라 평가 데이터가 더 쌓여야 해. 그러니까 피드백 좀 많이 줘. 특히 모델 선택이 병신 같았던 사례가 있으면 꼭 좀 알려줘.
