내가 고객을 위한 자율형 AI 에이전트 개발을 그만둔 이유

나는 작년 대부분을 고객들에게 완전 자율형 AI 에이전트를 판매하는 데 보냈다. 나는 그들에게 잠자는 동안에도 복잡한 작업을 생각하고, 계획하고, 실행할 수 있는 시스템을 약속했다. 미래처럼 들렸지만, 실제로는 지원 악몽이었다.

문제는 자율성이 예측 불가능하다는 것이다. 나는 데모에서는 완벽하게 작동하는 아름다운 멀티 에이전트 루프를 만들었지만, 3일 후 Planner가 Executor와 재귀 루프에 빠져 2시간 만에 200달러어치의 API 크레딧을 태워버리는 바람에 새벽에 알림을 받아야 했다.

나는 대부분의 비즈니스 문제에서 자율성은 기능이 아니라 버그라는 것을 깨달았다. 고객들은 실수로 새로운 회사 정책을 환각(hallucination)해낼지도 모르는 블랙박스를 원하지 않는다. 그들은 신뢰할 수 있고 반복 가능한 결과를 원한다.

이 깨달음은 내 전체 철학을 결정론적 워크플로우로 전환하게 만들었다. 나는 에이전트들이 열린 루프에서 서로 대화하도록 두는 것을 멈추고, 모든 단계에서 엄격한 검증이 포함된 선형적 핸드오프를 사용하기 시작했다.

나는 다른 사람들이 어디서 실패하고 있는지 확인하기 위해 LangGraph 문서와 AutoGPT GitHub 이슈를 뒤지는 데 많은 시간을 보냈다. 가장 성공적인 시스템은 가장 많은 자유를 가진 시스템이 아니라, 가장 좋은 가드레일을 가진 시스템이라는 것이 밝혀졌다.

이제 나는 인간 개입(Human-in-the-loop, HITL) 시스템을 구축한다. AI가 힘든 일을 하지만, 주요 작업이 수행되기 전에 인간이 '승인' 버튼을 클릭해야 한다. 완전 자율적인 '설정하고 잊어버리는' 봇보다는 덜 화려하지만, 드디어 새벽 3시에 걸려오는 전화들을 멈출 수 있었다.

만약 에이전트 워크플로우를 설계하고 있다면, 열린 추론 루프를 상태 머신으로 대체해 보라. 작업 간의 정확한 전환을 정의함으로써, 에이전트가 스스로 비싸고 끝없는 대화에 빠져들 가능성을 제거할 수 있다.