하위 모델에 작업을 위임하면 실제로 비용이 절감될까? 세 가지 코드베이스로 테스트해 봄.
Does delegating to cheaper models actually save money? I tested it across three codebases.
핵심 요약
Claude Opus를 활용한 모델 위임 방식이 코드베이스 규모에 따라 비용과 성능에 미치는 영향을 실험한 결과입니다.
- 실험 설계 — Opus 단독, 자동 위임, 수동 라우팅, Haiku 강제 사용 등 4가지 방식 비교
- 규모별 결과 — 소규모는 Opus 단독이 유리하고, 대규모는 위임 시 비용 절감 효과가 큼
- 비용 효율성 — 단순 토큰 가격 비교보다 위임에 따른 오버헤드와 컨텍스트 재사용 효율이 중요함
- 품질 트레이드오프 — 비용 절감은 가능하지만 대규모 문서 확인 작업 등에서는 정확도 저하 발생
면책 조항: 이건 그냥 간단한 실험이지, 절대적인 벤치마크가 아님. 대부분 작업은 두 번씩 돌렸고, 일상적인 작업은 한 번씩만 돌렸음. 더 많이 반복하고 싶었는데 구독 제한 때문에 어쩔 수 없었음. 비용 차이는 흥미롭지만, 품질 차이는 확정적인 순위라기보다 그냥 참고용으로만 봐주길 바람.
Claude Opus가 서브 에이전트를 효과적으로 쓰는지, 그리고 위임을 강제하거나, 아예 막거나, 아니면 알아서 하게 뒀을 때 결과가 어떻게 바뀌는지 궁금했음.
Opus가 Haiku나 Sonnet에 작업을 넘길 수 있게 하는 모델 라우터 스킬을 만들어서 다음 네 가지 설정을 비교해 봄.
-
Forced Opus: 서브 에이전트 쓰지 말라고 함.
-
Spontaneous Opus: 위임 가능하게 뒀는데, 한 번도 안 씀.
-
Skill-routed: Opus가 내 스킬을 써서 언제 위임할지, 어떤 모델을 쓸지 결정함.
-
Forced Haiku: 모든 서브 에이전트가 Haiku를 쓰게 함.
내 개인 프로젝트(~10k 라인), rich(~22k 라인), beets(~52k 라인) 이렇게 세 가지 코드베이스로 테스트함.
결과
1. 소규모 코드베이스 (~10k 라인)
모든 설정이 10개의 일상적인 작업을 다 통과함.
읽기 작업이 많은 5개 과제에서는 Forced Opus가 실행당 정확도가 가장 높았음. Skill-routed는 비용이 30% 더 나왔고, Forced Haiku는 비용은 같았는데 문서 확인 정확도가 제일 떨어졌음(9개 이슈 중 4개 찾음).
재밌는 건, Skill-routed가 두 번 돌렸을 때 알려진 문서 이슈 9개를 다 찾아냈다는 거임. Forced Opus는 8개 찾음. 근데 개별 실행 정확도는 Skill-routed가 더 낮았음.
2. 중규모 코드베이스 (~22k 라인)
