실전 Mixture-of-agents: 프롬프트를 여러 모델에 뿌린 뒤 판단하거나 통합하기 — 직접 경험한 효과적인 방법
Mixture-of-agents in practice: fan one prompt across a panel, then judge vs synthesize — what's actually worked for me
핵심 요약
프롬프트를 여러 모델에 병렬로 실행해 최적의 답을 도출하는 Mixture-of-agents 기법과 그 활용 사례를 공유합니다.
- 프롬프트 오케스트레이션 — 모델 선택 대신 여러 모델을 조합해 지능을 극대화함
- 판단 및 통합 전략 — best_of_n으로 최적 답안을 선택하거나, 합성으로 여러 답안을 융합함
- 비용 효율성 — 저렴한 모델들을 조합해 고성능 모델을 대체하고 모델 간 의견 차이를 신호로 활용함
- OrcaRouter 활용 — YAML 규칙으로 팬아웃을 자동화하는 오픈소스 게이트웨이 도구 소개
"더 높은 지능"을 모델 선택의 문제가 아니라 프롬프트 오케스트레이션의 문제로 접근하고 있음. 패턴은 이럼: 프롬프트 하나를 잡아서 2~3개의 다른 모델에 병렬로 돌린 다음, 작업에 따라 두 가지 방식으로 답을 결정함.
best_of_n: 판단 모델(judge)이 모든 후보를 읽고 가장 강력한 답안 하나를 그대로 반환함. 모델 하나가 완전히 정답을 맞힐 가능성이 높을 때(코드, 사실 관계 Q&A) 좋고, 섞인 답이 아니라 깔끔한 진짜 정답을 원할 때 유용함.
synthesize (mixture-of-agents): 통합 모델(aggregator)이 후보들을 하나로 합쳐 새로운 답을 만듦. 모델들이 상호 보완적이고 하나로 합치는 게 단일 모델의 답변보다 나을 때(연구, 분석, 긴 글 작성) 더 좋음.
놀라웠던 건 저렴한 모델들로 구성된 패널과 판단 모델을 조합하면, 평소라면 비싼 최상급 모델에 돈을 썼을 수준의 결과물을 낸다는 점임. 모델 간의 의견 차이가 사실은 활용 가능한 신호였던 거임. 물론 공짜는 아님. 패널에 있는 모든 모델과 판단 모델에 비용을 지불해야 하니까. 그래서 나는 어려운 프롬프트에만 이 방식을 쓰고, 쉬운 건 그냥 저렴한 모델 하나로 처리함.
이걸 OpenAI 호환 게이트웨이(OrcaRouter)에 연결했는데, 오케스트레이션이 그냥 YAML 규칙 세트라서 매번 팬아웃 코드를 짤 필요가 없음. 핵심은 MIT 라이선스고 직접 호스팅도 가능함: https://github.com/Continuum-AI-Corp/OrcaRouter-Lite — 더 자세한 내용은 여기: https://www.orcarouter.ai/?utm_source=reddit&utm_medium=social&utm_campaign=fusion_dsl
공개: 나는 그 게이트웨이를 만드는 일을 하지만, 이 패널/판단/통합 패턴은 일반 API 호출로도 똑같이 작동함. 혹시 각자 작업에서 best_of_n이랑 synthesize를 비교해 본 사람 있음? 뭐가 더 나았음?
