실제 멀티 에이전트 코딩 시스템에서 Fable 5, Opus 5, Opus 4.8을 리더로 테스트해 본 결과 - Fable 5 Low가 최고의 오케스트레이터였습니다

우리 최종 세팅은 꽤 명확해졌음. 메인 모델 하나가 리드/오케스트레이터 역할만 전담함. Sonnet 5는 정보 탐색이랑 독립적인 검토를 위한 읽기 전용 레이어로 씀. Opus 5 Low/Medium/High는 작성자(writer) 역할을 하는데, 한 번에 딱 한 명만 작업 공간을 수정할 수 있게 제한함. 메인 에이전트가 계획 짜고, 업무 쪼개고, 위임하고, 실제로 저장된 diff를 확인한 다음 수정이랑 최종 통합 여부를 결정함.

가장 눈에 띄는 결과는 Fable 5 Low가 팀 리드로서 이 시스템을 훨씬 자연스럽게 다뤘다는 거임. 광범위한 작업이 주어지면 알아서 읽기 전용 에이전트 여러 개를 띄우고, 병렬로 정보를 긁어모아서 결과를 통합한 뒤, 최종 판단은 메인 에이전트가 내리게끔 유도함. 규칙 준수나 파일 간 의존성 처리도 Opus 5 리드 때보다 훨씬 확실했음.

Opus 5 Medium/High/Max는 기술적인 계획은 잘 짜는데, 계속해서 '도우미 에이전트를 거느린 개쩌는 1인 개발자'처럼 행동함. 지가 직접 셸/grep으로 분석하느라 바쁘고, GATHER(정보 수집) 위임은 덜 적극적이고, 의존성 체크도 듬성듬성함. Max 테스트 중 하나는 읽기 전용 턴이라고 명시했고 작업 생성하지 말라고 했는데도 멋대로 작업 상태를 생성해버리더라. 우리한테는 Medium이 Opus 5 중에서 그나마 쓸만했는데, 전반적인 작업 스타일은 비슷했음.

이번 프로젝트를 하면서 느낀 주관적인 인상은 Opus 5가 속도 최적화된 'Flash' 스타일 모델 같다는 거임. 빠르고 기술적으로는 유능한데, 규칙이나 의존성 단계를 건너뛰려는 경향이 좀 있음. 모델 내부 아키텍처가 어떻다는 주장이 아니라, 그냥 우리 작업 환경에서 관찰된 행동이 그렇다는 거임.

Opus 4.8은 좀 더 흥미로웠음. High랑 Max는 Opus 5보다 훨씬 더 깊이 생각하고 체계적으로 움직이는 느낌이었음. 4.8 Max는 추론이 엄청나게 깊긴 한데, 너무 과하게 생각하는 경향이 있어서 느리고 비용도 많이 나옴. 우리한테는 4.8 High가 밸런스가 제일 좋았고, Fable을 제외하면 가장 강력한 후보였음. 물론 읽기 전용 에이전트를 활용하는 능력은 Fable보다 자연스럽지 못했지만.

Opus 5는 작성자(writer)로서는 훨씬 설득력 있었음. Low랑 Medium은 우리 아키텍처에서 잘 돌아감. High는 거의 선택받지 못했고, 콕핏(cockpit)을 완전히 갈아엎는 수준의 엄청 큰 작업 때만 가끔 등장했음.

빌드 자체는 대체로 성공적이었지만, 나중에 독립적인 검토를 해보니 통합과 거버넌스 측면에서 여전히 구멍이 좀 보였음. 우리 입장에서는 'High' 단계를 기본값이 아니라 진짜 어쩌다 한 번 쓰는 비상용 티어 정도로 남겨두는 게 맞다고 봄.

비용이랑 할당량 문제가 Fable의 가장 큰 단점이었음. 빡세게 작업할 때 5시간 제한이 시간당 대략 20~23% 포인트씩 깎여나가서, 5시간짜리 작업 창을 거의 꽉 채울 수 있을 정도로 의외로 널널하긴 했음. 진짜 병목은 따로 있는 'Weekly Fable' 제한이었는데, 이게 전체 모델 통합 제한보다 훨씬 빨리 차버리더라. Fable 자체가 구현을 별로 안 해도 거대한 메인 컨텍스트 자체가 비용을 엄청나게 잡아먹는 주범인 듯함.

결론을 내리자면, 이번 돌파구는 "모델 X가 코드를 더 잘 짠다"는 게 아니었음. 핵심은 역할 구조였음. Fable 5 Low를 리드로 세우고, Sonnet을 눈(검토자)으로 쓰고, Opus를 실제 작성자로 돌리는 조합이 사람 손이 가는 일을 획기적으로 줄여줬음. Fable이 우리한테 제일 싼 리드는 아니지만, 지금 이 복잡한 작업 환경에서 손이 제일 덜 가는 건 확실함.

중요한 주의사항: 작업 공간에 메모리나 SQLite 상태가 계속 남아있고 프롬프트도 매번 똑같지는 않았기 때문에, 일부 반복 테스트는 완벽하게 통제된 환경은 아니었음. 이건 어디까지나 실제 시스템 하나를 돌려보면서 얻은 실전 데이터지, 보편적인 모델 순위표 같은 게 아님.

저도 같은 생각입니다. 제 새로운 오케스트레이션 시스템이 가동 중이고, 현재 거의 1 t...