Claude는 50일 걸린다고 했지만, 서브에이전트들은 35시간 만에 끝냈고, 정작 느려진 원인은 나였음
Claude quoted 50 days, subagents did it in 35h, and the slow part was me
핵심 요약
Claude의 작업 시간 예측이 실제보다 훨씬 과장되어 있음을 확인하고, 에이전트 작업 효율을 측정하는 오픈소스 플러그인을 개발함.
- 작업 시간 예측 — Claude가 50일로 예측한 작업을 에이전트 6개로 35시간 만에 완료함
- 병렬 처리 한계 — 실제 병렬 처리 효율은 1.8배 수준이며 테스트 충돌과 병합 잠금이 병목 현상을 유발함
- 예측 보정 도구 — 인간의 작업 시간과 에이전트 가동 시간을 분리해 정확한 일정을 산출하는 플러그인 공개
- 실제 경험 공유 — 사용자들이 Claude의 과도한 시간 예측으로 인해 더 나은 선택지를 포기하는 사례가 빈번함
나랑 동료가 Claude한테 SaaS 로드맵 견적 좀 내달라고 했거든. 50일 걸린다더라.
그래서 똑같은 계획을 Claude Code 서브 에이전트 6개한테 던져줬지. 워크트리(worktrees) 쓰고, 테스트 먼저 돌리고, 위험한 작업엔 리뷰어 에이전트까지 붙여서. 그랬더니 7개 레포지토리에 걸친 106개 작업을 35시간 만에 끝내버림.
그러니까 Claude가 자기 속도를 48일이나 잘못 예측한 셈이지. 근데 진짜 흥미로운 건 뭐가 속도를 늦췄냐는 건데, 모델 문제가 아니었음:
- 에이전트 6개라고 속도가 6배가 되는 게 아님. 실제 처리량은 1.8개 수준이었어. 테스트 슬롯, 파일 충돌, 머지 락(merge locks) 때문에 죄다 대기열에 걸리더라고.
- 작업 크기보다 위험도가 훨씬 중요함. 결제, 인증, 마이그레이션 같은 작업은 2.7배 더 걸렸고, 버그도 죄다 거기서 터짐.
- 내 노트북이 먼저 맛탱이 감. 테스트용 DB 55개가 남아서 디스크 꽉 차고, Docker는 멈추고, 테스트는 10분 툴 타임아웃을 훌쩍 넘겨버림.
- 제일 느린 건 우리였음. 코드 리뷰하고, 결정 내리고, 로컬 환경 세팅하는 거.
그래서 이 데이터를 기반으로 Claude가 에이전트 작업을 제대로 견적 내게 해주는 플러그인을 만들었어. 에이전트 실제 소요 시간(wall-clock), 사람 투입 시간, 대기 시간을 따로 계산하고 사용 예산까지 뽑아줌.
솔직히 말하면, 이건 프로젝트 하나(n=1) 돌려본 거라 한계가 있어. 테스트해보니까 모델 자체가 37% 정도 낙관적으로 잡더라고. 그러니까 네가 직접 기록한 데이터로 보정하기 전까진 숫자를 좀 넉넉하게 잡는 게 좋아.
무료 오픈소스(MIT)니까 가져다 써: https://github.com/MedAdemBHA/mythical-agent-month
멀티 에이전트로 빌드 돌리는 형들한테 질문 하나 할게. 실제로 병렬 처리 효율 얼마나 나와? 데이터 하나 더 있으면 좋을 것 같아서.
