푸념: 오케스트레이션과 플래닝에 Codex 쓰지 마라
Rant: Do not use Codex to run your orchestration and planning
핵심 요약
AI 에이전트 오케스트레이션에 Codex를 사용했다가 성능 저하와 오류를 겪은 사용자의 불만 토로.
- 오케스트레이션 도구 — Claude Fable에서 Codex로 전환 후 성능 저하 경험함
- 성능 차이 — Codex는 문맥을 자주 놓치고 수정 시 다른 부분을 망가뜨림
- 시스템 설계 — 에이전트가 과거 결정을 기억하고 독립적으로 실행하도록 구축함
- 추적 가능성 — 모든 작업 로그와 모델 이력을 마크다운으로 기록하여 관리함
맥락을 설명하자면, 저는 AI 소프트웨어 회사를 운영하고 있고, 최근 Slack, Notion, 이메일, Google Ads, Meta Ads 등 모든 소스의 정보를 중앙화하는 커맨드 센터를 구축했습니다.
처음에는 Claude Fable로 구축했는데, 모든 게 아주 매끄럽게 작동했습니다. 돈 받고 하는 말이 아니라, 순전히 제 개인적인 경험입니다.
가장 중요한 기능은 의사결정 큐인데, 저에게 올라온 모든 결정을 확인하고 승인하거나 기각할 수 있으며, 에이전트가 실행할 수 있도록 추가 맥락을 제공할 수 있습니다. 에이전트에게 제 결정을 기억하도록 지시해서, 나중에 비슷한 상황이 오면 그 기록을 바탕으로 독립적으로 행동하게 했습니다.
모든 것은 폴더별로 깔끔하게 정리되어 있고, 모든 마크다운 파일은 AI가 관련 정보를 찾을 수 있도록 적절하게 라벨링되어 있습니다. 모든 반복 작업과 변경 사항은 로그로 남고, 작업 이력은 어떤 AI 모델이나 에이전트가 작업했는지 태그가 달려 있어 완벽하게 추적 가능합니다.
이제 크레딧이 다 떨어져서 작업을 계속하려고 Codex로 전환했습니다. 그런데 전환한 이후로 악몽이 시작됐습니다. Codex는 계속 정보를 놓치고, 저는 마크다운 파일 맨 처음에 분명히 적혀 있는 정보를 간과했다고 지적해야만 합니다. 그냥 계속 사과만 합니다.
Claude Fable을 쓸 때는 문제가 거의 없었습니다. 뭔가 잘못되더라도 다음 반복 작업에서 보통 해결됐죠. 반면에 Codex는 하나를 고치면 다른 걸 망가뜨립니다. 마크다운 파일에 모든 관련 정보가 명확하게 기록되어 있는데도 말이죠.
