AI 에이전트 개발은 사실상 배관 공사나 다름없다
building ai agents is mostly plumbing
핵심 요약
AI 에이전트의 핵심은 모델 자체가 아니라, 예외 처리와 모니터링 같은 실무적인 배관 공사에 있다.
- 실무의 핵심 — 모델 성능보다 예외 처리와 모니터링 같은 안정성 확보가 훨씬 중요함.
- 배관 공사 비유 — AI 에이전트 개발 시간의 80%는 시스템이 멈추지 않게 하는 잡무에 쓰임.
- 생산 엔지니어링 — 모델 학습보다 실제 운영 환경에서 에이전트가 문제없이 작동하게 만드는 게 진짜 실력임.
- 고객 신뢰 구축 — 마법 같은 AI를 기대하는 고객에게 안정적인 자동화 시스템을 제공하는 것이 수익의 원천임.
지난 2년간 포춘 500대 기업을 위한 AI 에이전트를 배포해왔다. 아무도 말하지 않는 더러운 비밀이 뭔지 아나? 시간의 80%는 아무도 보지 않을 때 발생하는 문제를 처리하는 데 쓰인다는 거다.
다들 차세대 혁명적인 추론 에이전트를 만들고 있을 때, 나는 지루한 문제들을 해결하며 돈을 벌고 있다. 마지막 고객은 PDF를 읽고 규정 준수 양식을 작성하는 에이전트에 4만 달러를 지불했다. 만드는 데는 3일 걸렸지만, 완벽하게 만드는 데는 6개월이 걸렸다.
에이전트 자체는 Claude 4.6을 감싼 200줄 정도의 코드였을지도 모른다. 하지만 진짜 작업은 새벽 3시에 API 속도 제한에 걸릴 때를 대비한 재시도 로직을 구축하고, 어떻게든 파서를 충돌시키는 손상된 PDF를 처리하고, 운영팀의 카렌이 왜 47821번 양식이 처리 과정에서 멈췄는지 확인할 수 있는 대시보드를 만드는 것이었다.
지난 화요일 새벽 2시 17분에 에이전트가 작동을 멈췄다는 슬랙 메시지를 받았다(알고 보니 DeepSeek가 응답 형식을 바꿔서 파싱이 깨진 것이었다). 다른 사람들은 트위터에서 AGI에 대해 떠들고 있을 때, 나는 웹훅 타임아웃을 디버깅하고 CTO들에게 왜 그들의 '단순한' 이메일 분류기가 이모지 스팸을 만났을 때 폴백이 필요한지 설명하고 있었다.
돈은 똑똑한 부분에서 나오지 않는다. 멍청한 자동화를 사람들이 실제 업무에 맡길 수 있을 만큼 신뢰할 수 있게 만드는 데서 나온다. 내 가장 성공적인 에이전트는 지원 티켓에 특정 키워드가 나타나면 Salesforce와 CRM 사이에서 데이터를 옮길 뿐이다. 혁명적이냐고? 아니. 수익성이 있냐고? 당연하지.
진짜 중요한 건 이거다: 에러 처리, 모니터링, API가 다운되었을 때의 우아한 저하, 그리고 AI가 마법이라고 생각하는 사람들과 신뢰를 쌓는 것. LLM은 이제 쉬운 부분이다(Cursor와 모든 코딩 어시스턴트 덕분에). 어려운 부분은 당신이 휴가 중일 때도 작동해야 하는 시스템을 위한 프로덕션 엔지니어링이다.
모델 학습보다 관측 가능성 대시보드에 더 많은 시간을 쓰고 있는 사람 또 있나?
