3주간 6개의 AI 에이전트를 24/7 돌려본 후기: 무엇을 버리고 무엇을 남겼나

지난 화요일 오전 6시 47분, 내가 쓰지 않은 요약본을 보며 잠에서 깼다. 내 연구원 에이전트는 밤새 3가지 도구에 대한 경쟁 분석을 마쳤고, 개발자 에이전트는 버그를 수정해 스테이징 환경에 배포했다. 작가 에이전트는 블로그 초안을 작성해 검토를 기다리고 있었고, 조정자 에이전트는 내가 노트북을 열기도 전에 오전 업무를 할당해 두었다.

3주 차의 모습이다. 1주 차는 전혀 달랐다.

나는 6개의 전문 AI 에이전트를 설정했다. 개발자, 연구원, 작가, 마케팅, 수익 운영, 그리고 이들 사이의 업무를 배분하는 조정자 에이전트다. 내가 고생하며 배운 점들은 다음과 같다.

실제로 효과가 있는 것들

조정 프로토콜은 에이전트 수보다 중요하다. 처음 며칠은 에이전트들이 서로 방해하는 걸 지켜봐야 했다. 두 에이전트가 같은 업무를 가져가거나, 한 명이 다른 사람의 작업을 덮어쓰기도 했다. 전형적인 문제였다.

해결책은 아주 간단했다. 한 명의 에이전트(조정자)가 모든 라우팅을 담당하게 했다. 모든 업무는 조정자를 거쳐야 한다. 다른 에이전트들은 명시적으로 호출될 때만 응답한다. 독단적인 행동은 금지다.

이 규칙 하나로 컴퓨팅 낭비를 60% 정도 줄였다. 2개 이상의 에이전트를 운영하면서 라우팅 프로토콜이 없다면, 에이전트 간 충돌로 토큰만 낭비하고 있는 것이다.

전문 역할은 범용 에이전트를 항상 이긴다. 처음에 "모든 걸 다 하는 슈퍼 에이전트" 방식을 시도했지만, 모든 면에서 평범했다.

좁은 업무를 가진 전문 에이전트로 나누니 각각의 성능이 극적으로 좋아졌다. 개발자 에이전트는 블로그 글을 쓰려 하지 않고, 작가 에이전트는 코드를 건드리지 않는다. 당연해 보이지만, 이 서브레딧에서 보는 대부분의 멀티 에이전트 설정은 모든 에이전트를 제너럴리스트로 만들려 한다.

야간 크론 작업은 최고의 ROI를 보장한다. 내가 자는 동안 연구 작업을 수행하고, 배포를 확인하고, 일일 요약본을 준비하는 에이전트들이 있다. 나는 할 일 목록 대신 브리핑을 받으며 하루를 시작한다. 이것 하나만으로도 전체 설정을 정당화할 수 있다.

시간 낭비인 것들

첫날부터 6개를 다 쓰려 하지 마라. 나는 6개의 에이전트가 있지만, 첫 주에는 조정자에게 개발자와 연구원, 단 2명에게만 업무를 할당하게 했다. 나머지는 대기했다. 업무 흐름을 파악한 후 작가, 마케팅, 수익 운영 순으로 늘려갔다. 3주 차가 되니 6개 모두가 돌아가고 있고, 야간 결과물은 정말 놀랍다.

6개를 다 유지하되, 워크플로우가 잡힐 때까지는 조정자에게 2~3개로 시작하라고 지시하라. 그 후 확장하면 된다.

워크플로우가 잡히기 전의 화려한 대시보드도 낭비다. 첫 주에 조정 대시보드를 만들었는데, 멋져 보였지만 두 번 썼다. 에이전트들은 작업 큐를 통해 직접 메시지를 주고받는다. 대시보드는 내가 생산적이라고 느끼기 위한 것이지, 실제 생산성을 위한 게 아니었다.

워크플로우를 먼저 구축하라. 시각화는 나중에, 필요하다면 그때 해도 된다.

에이전트 메모리를 과도하게 설계하는 것도 문제다. 에이전트가 "모든 것을 기억"하게 하려고 며칠을 썼지만, 대부분 소음이었다. 에이전트는 모든 것을 기억할 필요가 없다. 적절한 때에 적절한 맥락이 필요할 뿐이다. 90%의 경우, 복잡한 벡터 DB보다 간단한 일일 메모 파일이 낫다.

나를 구한 3가지 규칙

1. 한 명의 라우터, 다수의 작업자. 에이전트가 스스로 업무를 할당하게 두지 마라. 한 명의 에이전트가 업무를 결정하고 나머지는 실행만 한다.

2. 제너럴리스트를 죽여라. 에이전트의 시스템 프롬프트가 한 문단보다 길다면 너무 많은 일을 하는 것이다. 쪼개라.

3. 크론 > 채팅. 최고의 에이전트 작업은 대화가 아니라 일정에 따라 이루어진다. 반복 가능한 모든 작업은 야간 실행으로 설정하라.

이게 전부다. 특별한 건 없다. 대부분의 가치는 2주 차가 아니라 첫날 설정했어야 할 간단한 규칙에서 나왔다.