유용해 보였지만 막상 해보니 별로였던 AI 에이전트 워크플로우가 있나요?

시간이 지나면 에이전트도 이런 부분에서 더 나아질 거라고 생각함. 프롬프트도 조만간 더 좋아질 거고.

자율형 AI 직원한테 내 문서 작업이랑 신규 팀원 온보딩, 고객 응대/마케팅까지 다 맡겨봤거든. 그러다 다른 일 하느라 바빠서 관리를 못 했더니, 일주일 돌리고 나서 나온 결과물이 완전 쓰레기였음 :p. 내 잘못이지 뭐. 그래서 AI 직원 수정해서 자율형에서 지시형으로 바꿨어.

반복되는 실패 유형은 에이전트가 승인 권한을 쥐고 있는 경우임. 인바운드 요청을 자동 분류하는 게 효율적으로 들리지만, 에이전트가 엣지 케이스를 자신 있게 잘못 분류하기 시작하고 아무도 큐를 확인하지 않게 되면 끝장임. 살아남는 워크플로우는 지루한 것들뿐임: 요약, 초안 작성, 검색. 되돌릴 수 없는 부작용이 있는 작업은 매번 인간의 검토가 필요함.

무료 웹 접근 권한이 있는 자율 연구 에이전트들. 30초짜리 트위터 데모에서는 마법처럼 보이지만, 실제로는 오래된 블로그 글을 읽고, 지원 중단된 API 엔드포인트를 환각으로 만들어내고, 존재하지도 않는 인자를 수정하려고 재시도 오류를 반복하며 14달러를 날려 먹음. 결정론적 스크립트가 동적 에이전트 브랜칭보다 95%의 경우에서 더 나음.

존재하지도 않는 인자를 수정하려고 재시도 오류를 반복하며 14달러를 날려 먹음.

ㅋㅋㅋ 진짜 2023년스러운 소리네

우리를 골치 아프게 했던 건 에이전트가 눈에 보이는 diff나 인간의 승인 단계 없이 프로덕션 복사본이나 설정을 수정하게 둔 거였음. 데모에서는 클릭 수가 줄어들어 좋아 보였는데, 나중에 조용히 발생한 잘못된 수정이 자동화로 아낀 비용보다 더 큰 손실을 냈음. 이제 공유 상태를 변경하는 건 일단 초안을 만들고 수정 전후를 보여준 뒤 승인을 기다리게 함. 읽기는 자동화해도 되지만, 쓰기는 반드시 게이트가 필요함.