멍청한 오케스트레이터 이론
Dumb Orchestrator Theory
핵심 요약
AI 오케스트레이션에는 고성능 모델보다 Sonnet 같은 효율적인 모델이 비용과 성능 면에서 더 유리하다는 주장.
- 오케스트레이션 효율성 — 고성능 모델보다 Sonnet이 오케스트레이터 역할에 더 적합함
- 작업 위임의 중요성 — 오케스트레이터가 직접 처리하지 않고 하위 에이전트에 위임해야 함
- 비용 최적화 — 고성능 모델은 복잡한 추론이 필요한 작업에만 제한적으로 사용함
- 결정론적 설계 — 오케스트레이션은 최대한 결정론적으로 설계하여 모델 부하를 줄여야 함
[블록 1/8] AI 딜리버리 팩토리를 구축하는 데 너무 많은 시간을 쏟았습니다. 최근에는 Claude와 GPT 구독 간의 효과적인 부하 분산에 집중했죠. 수집한 데이터를 보면 오케스트레이션이 사용 가능한 리소스를 가장 많이 소비하는 상위 역할이며, 오케스트레이션을 수행하는 모델이 결과에 엄청난 영향을 미친다는 점이 명확해지고 있습니다.
[블록 2/8] 재밌는 건.. 처음엔 Fable이 워낙 뛰어나서 그걸 썼는데, 오케스트레이션 비용으로는 도저히 감당이 안 되더군요. Opus로 낮췄더니 좀 낫긴 했지만 여전히 Claude 사용량이 GPT 사용량을 크게 앞질렀습니다. 그래서 Sonnet으로 낮췄는데, 놀랍게도 오케스트레이터로서 비용 효율적일 뿐만 아니라 더 나은 결과를 만들어내고 있습니다.
[블록 3/8] 제 이론은 이렇습니다:
[블록 4/8] 1. 오케스트레이션은 제대로 수행될 경우 높은 수준의 추론을 요구하는 작업이 아닙니다.
[블록 5/8] 2. 오케스트레이터가 기본적으로 모든 것을 네이티브 서브 에이전트나 외부 headless 세션에 위임하도록 강제하는 것이 중요합니다. 충분한 시간과 추론 능력을 주면, 오케스트레이터는 끊임없이 인라인으로 처리할 핑계를 만들어낼 테니까요.
[블록 6/8] 3. 오케스트레이터의 추론 능력만큼이나 가용성도 중요합니다. 물론 더 높은 추론 모델에 상담할 수 있는 적절한 접근 권한을 줬다는 가정하에요. 오케스트레이터가 항상 바쁘다면, 그건 오케스트레이팅을 하는 게 아닙니다.
[블록 7/8] Sonnet이 이 경쟁에서 이기고 있는 이유는 긴 세션 동안 실행 비용이 저렴하고, 모든 이론적인 가능성을 쫓을 만큼 너무 똑똑하지 않기 때문입니다. 세션 자체를 조종하면서 주변 시스템이 알아서 돌아가게 두는 데 꽤 능숙하죠.
[블록 8/8] 세 줄 요약: 저에게 있어 Sonnet은 Opus나 Fable보다 세션 오케스트레이션에서 훨씬 비용 효율적이고 능률적입니다.
