AI 에이전트, 워크플로우가 복잡해지면 감당이 안 됨

거의 맞음. 에이전트는 지속적인 유지보수가 필요하고 엄청나게 취약함. 난 가급적이면 단일 용도로만 쓰려고 함. 예를 들어, Moclaw는 교대 근무 후 데이터 추출용으로만 쓰고, 다른 봇이 그걸 받아서 Slack으로 넘기게 함. 이렇게 하면 몇 주 동안 반복 가능하고 재현 가능한 프로세스가 유지되는데, 이게 핵심임.

이게 아무도 말 안 하는 진짜 문제임. 에이전트 하나는 단독으로 잘 돌아가는데, 세 개를 체인으로 엮는 순간 환각 현상이 복합적으로 나타나고, 도구 호출은 조용히 실패하고, 왜 엉뚱한 짓을 하는지 디버깅하느라 고생함. 대부분의 팀은 프로덕션에서 뭔가 터지기 전까지는 에이전트 루프 안에서 무슨 일이 일어나는지 가시성을 확보하지 못함.

Supervised(감독)는 인간이 루프 안에 있다는 뜻인데, 이건 필수라는 말에 동의함. 에이전트가 생성하는 내용을 검증할 전문가가 항상 개입해서 의도를 유지해야 함.

Silent failure 문제는 진짜 심각함. 모델은 지가 툴 콜 다 끝내고 천재인 줄 아는데, 정작 데이터베이스 에러는 감지도 안 된 채 방치되는 거임. 솔직히 나한테 가장 큰 변화는 에이전트가 지가 한 일을 스스로 평가하게 두지 않는 거였음. 실행 레이어에 실제 validation 체크나 assertion 스크립트를 하드코딩해야 함. 외부 스크립트가 환경 상태가 확실히 맞다고 확인해주기 전까지는 에이전트가 다음 단계로 넘어가거나 작업을 '완료'했다고 선언하게 두면 안 됨.

동감함. 진짜 문제는 에이전트가 유용한 일을 못 하는 게 아니라, 일이 제대로 끝났는지 증명할 방법이 없다는 거임. 프로덕션 워크플로우에서 에이전트가 스스로 '완료'라고 판단하게 두면 안 됨. 외부 상태 체크, 어설션, 툴 호출 로그, 체크포인트가 필수임. 안 그러면 워크플로우가 실패해도 나중에 누가 피해를 발견하기 전까지는 성공한 것처럼 보일 수 있음.