ProgramBench에서 1~16개의 코딩 에이전트를 테스트했습니다. 속도와 토큰 비용의 상관관계를 확인해보세요.

단일 에이전트가 충분한 시간이 주어지면 결국 따라잡는다는 점이 흥미롭네. 조정 과정에서 발생하는 토큰 오버헤드가 실제 병목 현상이지, 순수한 추론 능력이 부족한 게 아니라는 생각이 들어. 306M 대 225M이면 단순히 소통을 위해 쓴 비용치고는 꽤 큰 차이잖아.

아직은 '일단 에이전트를 많이 투입하고 보자'는 단계에 머물러 있고, 언제 수확 체감의 법칙이 적용되는지 명확한 기준이 없는 것 같아.

작성자가 스스로 언급한 구조 비교의 한계점은 강조할 가치가 있어. 10개의 프로그램에 대해 설정당 1회만 실행했고 프로그램별 편차가 크다는 건, '평균적인 승자가 없다'는 결론이 사실상 '승자를 가려낼 데이터가 부족하다'는 뜻과 다름없거든. 데이터에서 더 유용한 신호는 프로그램마다 구조에 다르게 반응했다는 점이야. 이건 일반적인 평면형 vs 리더형 vs 하위 팀 구조의 문제가 아니라, 작업의 의존성 그래프에 어떤 구조가 적합한지의 문제라는 걸 시사해. 모듈 경계가 깔끔하면 하위 팀을 수용할 수 있지만, 긴밀하게 결합된 핵심 코드는 분할할수록 조정 트래픽 때문에 오히려 직렬화가 다시 발생하거든. 그리고 단일 에이전트가 따라잡는다는 결과는 구매 결정을 내릴 때 좋은 기준이 돼. 다중 에이전트는 기능 구매가 아니라 지연 시간 구매로 봐야 해. 마감 기한이 급할 땐 36% 더 많은 토큰을 쓸 가치가 있지만, 그렇지 않을 땐 낭비지. 병목 현상에 대한 질문에 답하자면, 보통 N이 커질수록 마지막 단계인 병합과 검증이 문제야. 에이전트들이 서로의 작업에 대해 내린 쌍방향 가정의 수만큼 통합 비용이 늘어나기 때문이지.

설정과 결과를 확인하고 싶은 사람들을 위한 링크:

• 전체 보고서, 대화형 차트, 대화 재현 및 GitHub

• Pranjal의 출시 포스트 및 X 데모

공개: 저는 SwarmChat 팀의 일원입니다.

단순히 경과 시간뿐만 아니라, 총 토큰 예산이 같을 때 단일 에이전트와 팀 설정을 어떻게 비교하는지 보고 싶어. 설정당 1회 실행에 점수 차이도 작아서, 계층 구조 결과가 확정적이라고 보기는 아직 어려워.

내 생각은 이래. 오늘 당장 끝내야 할 일이 있으면 난 에이전트 30개를 투입해. 단일 에이전트가 그걸 따라잡을 방법은 절대 없거든. 일주일 뒤라면 모를까. 추가 토큰 비용? 그게 뭐 대수라고, 사실 그렇게 큰 차이도 아니야. 좋은 하네스(harness)를 쓰면 나중에 다 보상받아. 새로운 세션마다 다시 설명할 필요가 없으니까. 이제 일주일 기다렸다가 일주일 동안 테스트하는 대신, 그 시간을 작업 테스트에 쏟을 수 있어. 다중 에이전트 시스템은 20달러짜리 요금제 쓰는 사람들을 위한 게 아니야. API나 최대 요금제는 필수지. 투두 앱이나 주말 프로젝트 만들려고 다중 에이전트 설정을 쓰는 게 아니라고. 몇 주, 몇 달, 몇 년 동안 프로젝트를 꾸준히 작업할 수 있고, 전체 기록을 즉시 검색할 수 있는 지속적이고 조직화된 문맥 인식 에이전트가 필요해.

내 생각은 여기까지 ;)