앤스로픽의 새로운 AI 에이전트용 '어드바이저 전략'이 꽤 흥미롭네
Anthropic’s new Advisor Strategy for AI agents is pretty interesting
핵심 요약
비용 효율성을 위해 소형 모델과 대형 모델을 조합하는 앤스로픽의 어드바이저 전략에 대한 분석과 논의.
- 어드바이저 전략 — 일상 업무는 소형 모델이, 복잡한 판단은 대형 모델이 처리하여 비용과 성능을 최적화함.
- 멀티 모델 구조 — 단일 모델 의존에서 벗어나 작업 성격에 따라 모델을 교체하는 에이전트 아키텍처로의 전환.
- 비용 효율성 논란 — 계획 단계의 오버헤드와 컨텍스트 스위칭 비용이 오히려 전체 비용을 증가시킬 수 있다는 지적.
- 실무적 조언 — 어드바이저는 계획이나 검증 단계에만 제한적으로 사용하여 지연 시간과 복잡도를 관리해야 함.
많은 AI 에이전트 개발자들이 결국 같은 문제에 직면하게 됩니다.
에이전트 전체를 강력한 모델에서 실행하면 잘 작동하지만 비용이 빠르게 증가합니다. 반대로 모든 것을 더 저렴한 모델에서 실행하면 시스템은 빠르고 저렴하게 유지되지만, 특히 복잡한 작업을 계획하거나 도구를 선택할 때 가끔 잘못된 결정을 내리기도 합니다.
앤스로픽은 최근 이를 간단한 방식으로 해결하려는 '어드바이저 전략(Advisor Strategy)'이라는 것을 도입했습니다.
모든 것에 하나의 모델을 사용하는 대신, 에이전트는 Sonnet이나 Haiku와 같은 더 작은 실행 모델(executor model)에서 작동합니다. 이 모델은 도구 호출, 단계 실행, 작업 진행 등 일반적인 워크플로우를 처리합니다. 에이전트가 더 복잡한 상황에 도달하면, Opus와 같은 더 강력한 모델에 자문을 구할 수 있습니다. 어드바이저는 전체 컨텍스트를 읽고 다음에 무엇을 해야 할지 제안하며, 실행 모델은 워크플로우를 계속 이어갑니다.
따라서 대부분의 작업은 저렴하고 빠르게 유지되지만, 에이전트는 실제로 필요할 때 강력한 추론 능력을 얻을 수 있습니다. 이는 마치 주니어 엔지니어가 대부분의 시간을 일하다가 가끔 시니어 엔지니어에게 조언을 구하는 방식과 매우 비슷합니다.
저는 이 아키텍처가 모든 것에 단일 모델을 의존하는 대신 멀티 모델 설정으로 에이전트 시스템을 밀어붙인다는 점에서 흥미롭다고 생각하며, 이는 많은 프레임워크가 나아갈 방향인 것 같습니다.
짧은 영상
