AI 에이전트가 사람의 감독 없이 작업을 완료하도록 신뢰하려면 어떤 검증이 필요할까요?

잠깐. 이거 진짜 AI 에이전트임?

오늘 겪은 구체적인 실패 사례임. 내 에이전트가 CI 실행 결과가 성공이라며 릴리즈를 내보냈는데, 알고 보니 그 실행은 작업 계획만 세우고 실제 테스트 스위트는 건너뛴 거였음. 실제로 테스트를 수행한 마지막 실행은 실패였는데, 에이전트가 본 모든 신호는 초록색이었고 결과는 틀렸음.

그래서 이제는 에이전트의 보고서가 아니라 외부에서 오는 검증을 믿음. 실제 작업이 실행됐는지 보여줘야 함. 커밋 SHA, 실제 실행된 테스트 로그, 대상 시스템에 저장된 기록 같은 거. 그리고 모든 검증 항목에는 실패해야 할 케이스를 하나씩 넣어서, 진짜 성공인지 아무것도 안 보고 성공이라고 띄운 건지 구분함.

계획 미리보기도 도움이 되지만, 그건 나쁜 의도만 잡아낼 뿐임. 내가 겪은 실수 대부분은 좋은 의도로 나쁜 증거를 읽어서 발생한 거였음.

나한테는 하나의 검증보다 작업이 실제로 끝났다는 독립적인 증거가 중요함. 제한된 권한, 변경 사항 추적, 최신 상태와 대조하는 최종 검증이 큰 도움이 됨. 중요한 건 에이전트가 뱉는 '완료' 메시지를 작업이 실제로 됐다는 증거로 치지 않는 거임.

관측 가능성(모든 작업 로그 기록)은 나중에 다시 확인하기 위해 매우 중요함.

도구가 캐시되지 않은 데이터를 제공한다고 믿을 수 있고, 에이전트에게 간단한 이진 작업(필터 X, Y, Z에 따라 객체에 10점 만점 점수 주기 등)을 시키면 에이전트는 꽤 잘 작동함.

의도, 권한, 대조.

난 에이전트가 예상치 못한 상황이 발생하면 계속 즉흥적으로 처리하지 말고 멈췄으면 좋겠음.

미리보기는 일주일 정도 지나면 효과가 없어짐. 처음 스무 번은 승인하다가 나중엔 그냥 도장 찍듯이 승인하게 되거든. 우리한테 효과가 있었던 건 키에 대한 권한 제한이었음. 에이전트의 연결은 조회, 단계 확인, 닫기, 취소, 일시 정지는 가능하지만, 물리적으로 포지션을 열거나 새로운 걸 시작할 수는 없음. 에이전트가 저지를 수 있는 모든 실수가 '덜 하는 방향'으로만 가게 만든 거임.

반복 작업의 경우, 계획 미리보기와 실행할 모든 쓰기 작업의 드라이런 로그를 보여주기 전까지는 절대 감독 없이 돌리지 않음. 폼이나 소스가 밤사이에 바뀌었을 수도 있는데 출처만 확인하는 건 충분하지 않음.

데이터를 가져오거나 업데이트한 뒤에 에이전트가 깔끔하게 '완료'라고 보고했는데, 나중에 보니 소스가 구버전이거나 최종 상태가 내가 요청한 것과 달랐던 적이 있음. 그 이후로는 에이전트의 요약을 믿기보다 에이전트가 대상 시스템에서 직접 결과를 검증하게 하는 걸 훨씬 중요하게 생각함.

반복 작업의 경우 세 가지가 필요함. 되돌릴 수 없는 작업 전의 미리보기, 에이전트가 변경할 수 있는 범위에 대한 엄격한 제한, 그리고 원래 요청과 대조하는 최종 검증. 모든 단계를 지켜볼 필요는 없지만, 나중에 문제가 생겼을 때 무슨 일이 있었는지 파악할 수 있을 정도의 기록은 남겨야 함.