불편한 진실: AI 에이전트가 실제 업무용으로는 너무 신뢰할 수 없다고 느끼는 사람 또 있나요?

그건 워크플로우 자체를 에이전트에게 의존하면 안 되기 때문임. 대신 워크플로우는 결정론적 코드로 작성하고, 비결정적인 단계에서만 에이전트를 호출하도록 후크를 걸어두는 게 좋음.

내가 만든 10단계 도구가 있는데 거의 모든 과정을 코드로 옮기고 의사결정만 AI 레이어에 맡겼음. 마지막 단계에서 신선한 데이터를 빨리 찾지 못하면 도구가 그냥 포기해버리는 문제 때문에 고전 중임.

너만 그런 게 아님. 3단계 이상 넘어가면 실패율이 훨씬 심해짐. 턴마다 상태를 깔끔하게 유지해야 하는 작업은 죄다 무너짐.

내가 아는 대부분은 완전 자율로 돌리지 않음. 다음 단계로 넘어가기 전에 사람이 결과를 확인하는 '에이전트-인-더-루프' 방식을 씀. 그래야 3단계에서 조용히 터지는 걸 막을 수 있음.

그거 해결하려고 작업 중임. 이미 엄청 잘 돌아가고 있어. 모든 게 컨테이너화된 마이크로 가상 머신을 사용하고, AI 어시스턴트들이 혼자서 다 하려고 끙끙대는 대신 이제 그걸 활용할 수 있게 됐거든. 사실상 에이전트를 위한 앱스토어 같은 거야. 진짜 대박임. 내가 AI 에이전트 쓰면서 겪었던 문제들을 전부 다 해결했어. 관심 있으면 한 1~2주 뒤에 초대 코드 보내줄 수 있을 것 같아.

문제는 여전히 인간 직원을 관리하듯이 에이전트를 관리해야 한다는 거임. 몇 가지 실패 유형이 있음.

1. 복구 단계 없이 프로세스 중간에 그냥 멈춰버림.
2. 문제를 해결하려고 과도하게 엔지니어링함.
3. 잘못된 방향으로 끊임없이 최적화함.
4. 검토 루프에 갇혀서 신경도 안 쓰는 문제를 찾아내고, 추가 개발을 유도하는 새 티켓을 생성함.

멈추는 건 해결하기 제일 쉬움. 예약된 작업을 설정해서 중간 점검을 하고, 차단 요소가 없는지 확인한 뒤 사용자에게 문제를 알리거나 작업을 재개하면 됨.

나머지는 진짜 위험하다고 봄. 의도와 이해 사이의 불일치 때문임. 예를 들어 조사를 좀 하라고 시키면, 레딧 포럼에서 데이터를 수집하다가 어느새 8,000줄의 코드를 짜놓고는 한 달에 50달러짜리 스크래핑 서비스 가입 허락을 구하고 있음(이거 실제로 내가 겪은 일임).