Anthropic의 '기술을 갖춘 단일 에이전트가 서브에이전트 팀보다 낫다'는 주장을 Claude Code로 테스트해 봄. 실제 빌드 2개로 35번 실행한 결과: 품질은 동일, 팀 구성은 비용 62% 더 들고 시간은 2배 걸림

10월 22일 Anthropic에서 오케스트레이터+서브에이전트 조합보다 단일 에이전트가 훨씬 낫다는 가이드를 냈더라. 자기네 키트로는 실제 모델에서 딱 두 번밖에 안 돌려봤다길래, Claude Code 빌드에서 직접 테스트해 봄.

과제: 가상의 배관 업체 예약 사이트 만들기. index.html 하나로 구성, 서비스 및 가격, 기사 3명과 각자 근무 시간이 포함된 캘린더, 예약/변경/취소 기능, 중복 예약 방지, 관리자 뷰, 키보드 및 모바일 지원.

설정 (전부 Claude Code 2.1.319, Sonnet 5.5 사용, 서브에이전트 포함 모든 에이전트에 중간 정도의 노력 투입, 실행마다 새로운 Docker 컨테이너 사용, 40분 제한):
- 팀 구성: 오케스트레이터 + 플래너, 빌더, 리뷰어, 테스터를 서브에이전트로 배치. 히든 테스트나 결과값을 전혀 모르는 신규 에이전트가 작성함.
- 단일 에이전트 + 스킬: 세션 하나에서 진행, 위와 동일한 4개 역할 프롬프트를 스킬로 변환, 헬퍼 스크립트는 바이트 단위까지 동일하게 유지, 서브에이전트 기능은 끔.

평가는 에이전트들이 전혀 모르는 40개의 히든 Playwright 테스트와 블라인드 디자인 점수로 진행함. 디자인 점수는 Claude 세션을 분리해서 라벨 없는 스크린샷을 섞어놓고 정해진 기준에 따라 채점함.

결과 (각 7회 실행):

	Team	Single + skills
Hidden tests	40/40 every run	40/40 every run
Design score (median /50)	37	37
Cost per site (median)	$1.31	$0.81
Time per site (median)	28.6 min	15.0 min

단일 에이전트가 7번의 대결 모두에서 비용도 적게 들고 속도도 빨랐음 (비대응 표본 검정, Holm-corrected p = 0.004). 품질 면에서는 테스트나 디자인 점수 모두 차이 없음 (p ≥ 0.8). 7번 실행한 결과로 봐서 큰 차이는 없다고 봐도 무방함.

비용 차이가 나는 주된 이유는 컨텍스트 때문임. 서브에이전트는 매번 새로 시작하면서 프롬프트를 다시 캐싱해야 하는데, 단일 에이전트는 긴 컨텍스트를 계속 재사용하니까 캐시 읽기 비용이 훨씬 싸게 먹힘.

이전의 더 쉬운 버전 과제(히든 테스트 11개, 설정당 7회 실행)에서도 똑같은 패턴이 나왔는데, 흥미로운 실패 사례가 하나 있었음. 팀 구성 방식은 키보드 예약 기능을 두 번이나 말아먹었는데, 둘 다 작업 넘기는 과정에서 발생함. 테스터가 경고를 제대로 잡아내서 "이거 오작동임"이라고 했는데, 오케스트레이터가 그걸 무시하고 빌더한테 "고쳐"라고 명령을 내리는 바람에 탭 키로 옵션 이동이 안 되게 만들어버림. 단일 에이전트는 7번 실행 내내 똑같은 경고를 봤는데도 그런 짓은 안 하더라. 스킬 없는 깡통 에이전트가 비용은 제일 쌌는데, 예약 기능이 작동 안 하는데도 작동한다고 구라치고 배포한 적이 두 번 있었음.

양쪽 다 못 잡은 결함도 하나 있었음: 14개 사이트 중 11개에서 기사를 선택하기 전까지 모든 시간 슬롯에 취소선이 그어져 있었음. 양쪽 설정의 리뷰어랑 테스터 전부 이걸 놓침.

주의사항:
- 모델 하나(Sonnet 5.5), 과제 유형 하나, 설정당 7회 실행
- 디자인 평가는 사람이 아니라 Claude가 함
- 단일 에이전트 설정에서는 리뷰어와 테스터가 순차적으로 실행되지만, 팀 구성은 병렬로 실행됨 - 히든 테스트 중 하나에 단어 경계 버그("$149Snaked")가 있어서 나중에 수정함. 양쪽 다 한 번씩 걸려서 결과에는 영향 없음 - 비용은 API 정가 기준임. 실제 실행은 내 구독권으로 돌림 - Anthropic 자체 평가 키트는 유료 API 키가 필요해서 안 돌려봄