150명 규모 엔지니어링 조직을 운영하다가, 이제는 에이전트가 PR의 대부분을 처리하게 했습니다. 무엇이 바뀌고 무엇이 그대로일까요?
I used to run a 150-person engineering org. Now agents open most of the PRs on my project. What carried over and what didn't
핵심 요약
에이전트 기반 개발 환경으로 전환하며 관리 방식이 사람 중심에서 명확한 요구사항과 검증 중심의 시스템으로 변화했음을 공유합니다.
- 티켓 관리 — 티켓이 곧 명세서이자 테스트 케이스가 되어 명확한 작성이 필수임
- 검증 프로세스 — 에이전트가 작성한 코드는 CI와 스크린샷을 통해 사람이 최종 승인함
- 비용 관리 — 인건비 대신 스토리당 완료 비용과 재작업률을 핵심 지표로 추적함
- 지식 관리 — 에이전트 교육을 위해 사고 발생 시 지침을 수정하고 보관하는 체계가 중요함
참고로 말하자면, 난 서비스 기업에서 엔지니어링 조직을 30명에서 150명 규모로 키워본 경험이 있어. 올해는 코딩 에이전트가 업무의 대부분을 처리하는 클라이언트 프로젝트를 운영 중이지. 10주 동안 총 1,575개의 PR이 올라왔는데, 그중 1,363개가 에이전트가 올린 거야.
관리 업무가 줄어들 줄 알았는데, 그냥 형태만 바뀌었더라고.
그대로 유지된 것들:
-
티켓 관리. 예전엔 애매한 티켓은 대화로 해결했지. 지금은 별도 단계에서 diff와 인수 조건을 비교하니까, 티켓 자체가 곧 스펙이자 테스트가 됐어. 티켓을 잘 쓰는 게 내 시간의 대부분을 잡아먹어.
-
셀프 승인 금지. 에이전트도 똑같아. 코드를 짠 놈이 직접 완료 처리를 못 하게 막아놨지. CI를 읽는 단계, diff와 조건을 비교하는 단계, 스테이징에서 클릭해보고 조건별로 스크린샷 찍는 단계가 따로 있어. 이 중 하나라도 걸리면 바로 카드를 반려시켜.
-
WIP(진행 중 작업) 제한. 한 번에 최대 15개 스토리까지만 돌려. 사람 쓸 때랑 똑같아. 제한은 일꾼이 몇 명 있느냐가 아니라, 사람이 얼마나 따라갈 수 있느냐에 달려 있거든.
-
블로커 가시화. 사람 손이 필요한 건 조용히 기다리게 두지 않고 'Blocked' 컬럼으로 보내버려. 사실상 스탠드업 미팅을 안 하고도 스탠드업 효과를 내는 거지.
달라진 것들:
-
인당 예산. 1년 전만 해도 우리 프로젝트에서 개발자 한 명이 일주일에 에이전트 비용으로 1,000달러를 쓰면 엄청 튀는 거였거든. 지금은 스토리 하나 끝내는 데 드는 비용을 봐. 중간값이 36달러인데, 10개 중 하나꼴로 147달러를 넘기거든. 내가 진짜 신경 쓰는 건 바로 그 꼬리 부분이야.
-
코드 리뷰가 메인 관문이 아님. 전체 에이전트 비용 중 리뷰가 차지하는 비중은 11% 정도고, 이제 사람들은 모든 diff를 다 읽지 않아. 사람이 책임지는 건 요구사항 정의랑 클라이언트 최종 승인뿐이야.
-
인재 육성. 예전엔 시니어들을 팀장으로 키우는 게 내 일 중 가장 보람찼거든. 근데 에이전트는 피드백을 줘도 실력이 안 늘어. 그냥 지시사항만 바뀔 뿐이지. 팀원들을 위해 이걸 대체할 만한 게 뭔지 아직도 답을 못 찾았어.
실제 프로젝트에 에이전트 돌리고 있는 형들은 어때? 그만둔 거랑 새로 시작한 거 뭐 있어?
