내 AI 에이전트가 4개월째 '잘 돌아간다'고? 사실 일주일에 두 번씩 내가 수동으로 고치고 있음.

컨설팅 클라이언트 몇 명이 AI를 써서 워크플로우를 개선할 수 있냐고 물어봤는데, 이게 바로 내 가장 큰 두려움임. 계속 고장만 날까 봐 걱정됨.

이건 에이전트를 샌드박스에서 실제 운영 환경으로 옮길 때 발생하는 흔한 마찰 지점을 잘 보여줌. LLM에게 상태 관리와 비즈니스 정책을 맡기는 건 반복되는 난제임. API 페이로드 형식이 바뀌거나 예외 상황이 발생하면, 개방형 자가 수정 루프는 토큰만 낭비하고 멈춰버리기 일쑤임. 실무적인 아키텍처 접근법은 의미론적 추출과 실행 로직을 분리하는 거임: 1. LLM은 비정형 컨텍스트를 구조화된 데이터로 변환하는 파서로만 사용함. 2. 그 구조화된 데이터를 검증, 비즈니스 규칙, API 트리거를 처리하는 결정론적 애플리케이션 코드로 넘김. 3. 필수 필드가 없거나 모호하면, 시스템이 자율 실행을 즉시 멈추고 사람이 검토할 수 있게 큐로 보내야 함. 에이전트를 추출 작업으로 제한하고 실행을 결정론적으로 유지하면 실패 경로를 예측하기 쉬워지고 디버깅도 훨씬 수월해짐.

고객사 경영진에게 비현실적인 기대를 심어주고 있다는 점을 고려해봐. 정작 솔직하게 합리적인 기대치를 설정하는 직원들이 무능해 보이게 만들고 있잖아. 달을 따다 주겠다고 약속해놓고 슬라이드 쇼나 보여주는 컨설턴트들 진짜 질린다.

솔직히 대부분의 프로덕션 에이전트는 여전히 인간의 패치 레이어가 필요해... 그러니까 가동 시간은 사실 에이전트의 자동화와 고객이 눈치채기 전에 네가 조용히 오류를 잡아내는 게 섞여 있는 거지.

agentic monitoring을 활용해서 워크플로우 자동화 쪽으로 더 자연스럽게 유도할 방법은 없을까?

어디서 막히는 거임? 공급업체 사이트야, 아니면 네 로직이야? 사이트 문제라면, 일주일에 두 번 정도면 포털에서 사소한 변경이 일어나는 주기랑 비슷함. 결제창에 필드 하나 추가되거나, 프로모션 팝업 뜨거나, 확인 페이지 위치가 바뀌는 식이지. 스크립트 기반 에이전트는 그런 거 만나면 그냥 멈춰버림. 살아남는 버전은 매 단계마다 페이지를 새로 읽고, 예상치 못한 건 재시도하지 않고 멈춰버린 뒤, 전송하려던 데이터의 1줄짜리 diff를 보여줌. 그러면 네 밤 11시 패치가 아침 9시에 클라이언트가 '승인' 버튼 누르는 걸로 바뀌는 거임. 이게 커튼 뒤의 솔직한 버전이지. 물론 모든 걸 해결하진 못함. 공급업체가 로그인에 2단계 인증 걸어버리면 사람이 개입해야 하고, 페이지가 절대 안 바뀌는 환경에서 돌아가는 스크립트보다는 느림. 난 Skyvern 쓰는데 매주 이런 실패를 겪음. 감안해서 참고하셈.

나도 똑같음. 내가 다니는 단열재 회사에서 에이전트 워크플로우 몇 개 돌리는데, 주로 공급업체 견적 파일을 계산서로 바꾸는 작업임. 서류상으론 자동화지만, 실제론 매일 아침 커피 마시면서 실행 로그 훑어봄. 가장 도움 됐던 건 '절대 안 멈추게 하겠다'는 생각을 버리고 '멈추면 바로 알게 하겠다'는 전략으로 바꾼 거임. 매 단계마다 작은 상태 기록을 남기고, x분 안에 완료되지 않으면 내 폰으로 마지막 단계랑 문제 된 입력값을 푸시 알림으로 보내게 함. 실패 기록을 담은 텍스트 파일도 만듦. 3개월 지나니까 항상 똑같은 5가지 문제에서 막히더라고. 그중 2개는 모델 대신 그냥 코드로 짜버렸음. 솔직히 말해서, 에이전트가 혼자 돌아가는 게 아니라, 안 돌아갈 때 몇 분 안에 알아채는 게 핵심임. 내 경험상 클라이언트들도 그 정도는 문제없어함.