회사 내부 앱에 8개의 AI 코딩 에이전트를 병렬로 돌리고 있습니다. 빌드는 잘 되는데, 관리하는 게 너무 벅차네요. 다들 어떻게 관리하시나요?

4명 규모의 컨설팅 회사를 운영 중이다. 지난 몇 달 동안 AI 코딩 에이전트를 써서 CRM, 파이프라인, 시간 추적, 용량 계획, 재무, 마케팅, 뉴스레터 등 우리 회사의 내부 운영 시스템 전체를 싹 다 갈아엎었다.

난 엔지니어가 아니다. 제품 관련 의사결정을 내리고, 변경 사항을 승인하고, 데이터베이스 마이그레이션도 직접 한다.

시스템 구성

• 코디네이터 Claude 세션 하나가 최대 8개의 병렬 에이전트에게 업무를 배분하는데, 각 에이전트는 별도의 git worktree에서 돌아간다.

• 모든 변경 사항은 PR을 생성하고, 보안, 데이터베이스, 권한, 테스트 등을 담당하는 전문가 AI가 검토한다.

• SQL 마이그레이션은 ChatGPT가 한 줄씩 따로 검토한다. 프로덕션 마이그레이션은 내가 직접 실행한다.

• 내 명시적인 승인 없이는 그 어떤 것도 머지되거나 배포되지 않는다.

• GitHub Project 보드가 Queued → Building → Review → Ready for me → Live까지 모든 과정을 추적하고, 내가 뭘 처리해야 하는지도 정확히 보여준다.

• 매시간 코디네이터가 진행 상황, 막힌 부분, 완료된 업무를 요약해서 보고한다.

잘 풀리는 날엔 진짜 미친 수준이다. 어젯밤만 해도 PR 15개 정도 처리했고, 9개 영역 보안 감사, 프로덕션 DB 변경 8건, 그리고 굵직한 신기능 하나가 진행 중이었다.

문제는 만드는 게 아니라 '기억하는 것'이다.

최근에 우리가 뭘 놓치고 있는지 확인해 봤는데 결과가 아주 가관이었다.

• 10월부터 방치된 걸 포함해 열려 있는 PR이 30개나 됐다. 몇 개는 이미 쓸모없어진 거였고, 12개는 작업이 아예 멈춰 있었다.

• 뉴스레터 보안 패치는 다 끝내놓고 머지도 안 한 채 썩히고 있었다.

• 2차 검토가 안 돌아온 걸 아무도 신경 안 써서 기능 하나가 4일 동안 멈춰 있었다.

• SQL 독립 검토 요청은 3일 동안 답변도 없었다.

• 보안 관련 의존성 업데이트 2건은 3주 동안 손도 안 댔다.

• GitHub 보드는 완전히 엉망이었다. PR은 47개인데 보드에 카드가 등록된 건 9개뿐이었다. 코디네이터한테 명확하게 규칙을 정해줬는데도, 보드 업데이트는 안 하고 지 채팅 메모리랑 로그만 믿고 있었다.

• 버려진 호스팅 프로젝트가 모든 브랜치를 계속 빌드하고 있었고, 프로덕션 DB 자격 증명까지 그대로 남아 있었다. 나조차도 그게 있는 줄 까먹고 있었다.

내가 의도적으로 병목 구간을 자처하는 것도 문제다. 모든 머지, SQL 변경, 제품 결정은 내 승인이 필요하다. 근데 채팅으로 결정하고 나면 추적 시스템에 기록을 안 남기는 경우가 허다하다.

지금 시도 중인 것들

1. 열려 있는 모든 PR과 활성 프로젝트를 GitHub 보드와 대조해서 싹 다 정리했다.

2. 검토, 수정, 혹은 사람의 결정이 필요한 상태로 24시간 넘게 방치된 건이나, 카드가 없는 PR을 기계적으로 찾아내는 스크립트를 짰다. 이제 매시간 보고서 맨 위에 이게 뜬다.

3. 쓸모없는 PR은 닫고, 남은 것들은 다음 단계를 문서화했다.

질문 좀 하자.