한 달 동안 Claude Code와 Codex 에이전트 25개 이상을 무인 루프로 돌리며 배운 점
What I learned running 25+ Claude Code and Codex agents in a loop, unattended for a month
핵심 요약
반복적인 자율 에이전트 운영 시 워크플로우 폭주 방지, 모델 최적화, 메모리 활용의 중요성을 공유함.
- 워크플로우 폭주 방지 — 에이전트에 시간 제한을 설정하여 컨텍스트 누적과 무한 루프를 방지함.
- 실행 간격 조정 — 에이전트 실행 시간을 분산시켜 동시성 제한 문제를 해결함.
- 모델 최적화 — 작업에 적합한 가장 저렴하고 효율적인 모델을 찾아 비용을 절감함.
- 지속적 메모리 시스템 — 에이전트가 마크다운 파일에 학습 내용을 기록하여 스스로 성능을 개선함.
지난 한 달 동안 나는 Claude Code와 Codex를 루프 형태로 돌리는 에이전트 약 25개를 각자의 스케줄에 맞춰 운영해 봤어.
수백 번의 실행 결과를 분석해 보니, 자율 에이전트를 루프 형태로 돌릴 때 생각보다 까다로운 문제들이 꽤 있더라고. 그래서 직접 주기적으로 반복되는 에이전트를 운영하려는 사람들을 위해 몇 가지 배운 점과 팁을 공유해 보려고 해.
주기적으로 에이전트를 많이 돌려야 했던 메인 프로젝트는 도시별로 에이전트를 하나씩 배정해서 매일 아침 해당 도시의 예정된 이벤트를 조사하고 정리하는 AI 이벤트 사이트(aievents.now)였어. 총 22개 도시를 운영했지.
직접 반복형 에이전트를 자동화하고 싶다면 아래 내용들을 참고해 봐.
1. "워크플로우 폭발"을 조심해 - 에이전트에 시간 제한을 둬
에이전트가 시간이 지나면서 스스로 지침이나 메모리를 수정할 수 있게 해두면, 컨텍스트가 계속 쌓이다가 결국 원래 워크플로우가 감당 못 할 정도로 터져버려.
예를 들어, 내 이벤트 사이트의 경우 처음엔 웹 검색으로 이벤트만 찾으면 됐거든? 근데 어느 순간부터 에이전트가 매일 아침 기존 이벤트들이 취소되거나 변경되진 않았는지 전부 검사하기 시작하더라고. 이벤트가 15개일 땐 잘 돌아갔는데, 200개가 넘어가니까 에이전트가 뻗어버리고 1시간 제한 시간도 넘기기 시작했어.
내가 찾은 꿀팁은 에이전트한테 일을 끝낼 시간 제한을 명확히 주는 거야. 그럼 Claude가 알아서 남은 시간을 계속 체크하면서, 주어진 시간 안에 일을 끝낼 수 있게 작업 범위를 조절하더라고. 이거 덕분에 골치 아픈 일이 확 줄었어.
2. 동시성 제한에 걸리지 않게 실행 시간을 분산해
아까 말했듯이, 내 에이전트들은 사람들이 일어나서 스케줄 확인하기 전에 매일 아침 일찍 도시별 이벤트를 찾고 정리해야 해. 문제는 도시가 20개가 넘는데 하나당 30분씩 걸리니까 동시 실행 문제(concurrency issues)가 터지는 거지.
해결책은 실행 시간을 엇갈리게 하는 거야. 첫 번째 도시가 시작하고 15분 뒤에 다음 도시가 시작하게 설정해서, 동시 실행 수가 3개를 넘지 않게 조절했어.
3. 감당 가능한 선에서 가장 싸고 멍청한 모델을 찾아
나는 cronloop으로 에이전트를 돌리는데, 덕분에 기존 Claude Code 구독을 그대로 쓸 수 있어. 처음엔 모든 도시 에이전트를 Opus로 돌렸더니 매일 아침 5시간 사용 제한을 순식간에 다 써버리더라고.
그래서 작업에 최적인 모델을 찾으려고 테스트를 좀 해봤어. 로컬 Claude Code를 cronloop MCP에 연결하고, 여러 도시에서 다양한 모델(Codex랑 Claude Code)로 에이전트를 돌려보면서 퀄리티는 유지하면서(환각 없고, 이벤트 누락 없고 등) 가장 싸고 빠른 모델을 찾았지.
결과적으로 Opus는 전혀 필요 없었어. Sonnet 3.5, GPT-4o, 심지어 Haiku도 같은 작업에서 Opus만큼이나 아주 잘 돌아가더라고. 비용도 훨씬 적게 들어서 에이전트 전부를 돌릴 여유가 아주 넉넉해졌어. 완전 이득이지.
