오케스트레이션에는 Opus 5.5보다 Fable이 낫다
Fable > Opus 5.5 for orchestration
핵심 요약
Opus 5.5를 오케스트레이터로 사용해 본 결과, 토큰 효율은 좋지만 작업 정확도가 떨어져 다시 Fable을 사용하기로 함.
- 오케스트레이션 성능 — Opus 5.5는 작업 오류를 잘 잡아내지 못하고 엉뚱한 결과를 완료로 처리함
- 비용 효율성 — Opus 5.5 사용 시 토큰 소모량은 줄어들지만, 오류 수정 비용이 더 크게 발생함
- 워크플로우 전략 — Fable을 오케스트레이터로, Opus를 하위 에이전트로 사용하는 조합이 여전히 더 안정적임
- 사용자 피드백 — 많은 사용자가 Opus 5.5의 오케스트레이션 능력에 대해 서로 다른 경험을 공유함
Opus 5.5 나왔을 때 나는 fable 5.1을 메인 인터페이스로 쓰고, 뒤에서 Opus(아니면 Sonnet) 에이전트 돌리는 작업을 한창 하던 중이었거든. 그래서 그냥 그대로 계속 썼지. 이번 주 초에 Fable에서 Opus로 갈아탈 기회가 생겨서 며칠 동안 굴려봤다.
좋은 소식은 토큰 소모 속도가 눈에 띄게 줄었다는 건데, 나쁜 소식은 멍청한 짓거리가 훨씬 늘었다는 거야. 에이전트들은 자꾸 틀려먹고 오케스트레이터는 그걸 잡아내지도 못함. 일은 끝내지도 않고 자꾸 뒤로 미루기만 하고. 오늘 밤에 결정타를 맞았는데, 에이전트가 진짜 멍청한 짓을 해놓고 오케스트레이터는 그걸 다 끝냈다고 나한테 당당하게 내밀더라. 바로 따지니까 그 특유의 "아이고 맞습니다 죄송합니다, 근데 그 에이전트가 헛짓거리하느라 날려 먹은 토큰은 환불 안 해줌" 시전하네.
Fable이 완벽한 건 아니지만, Opus가 멍청한 짓 못 하게 막는 건 훨씬 잘함. 그래서 다시 Fable을 오케스트레이터로 쓰고 Opus는 서브 에이전트 작업용으로 돌리기로 했다.
내 Ted Talk 들어줘서 고맙다.
