AI 에이전트의 신뢰도를 높이는 방법은?

AI 에이전트를 신뢰하려면 인프라 측면에서 훨씬 더 많은 신뢰성이 필요한 건 맞지만, 시간이 지나면서 문화적으로도 에이전트를 점점 더 신뢰하게 될 거임.

신뢰는 프롬프트에 쓴 성격이 아니라 증명 가능한 제약 조건에서 나옴. 우리한테 효과 있었던 거 세 가지: (1) 물리적으로 넘을 수 없는 건당 달러 제한 - 이거 넣기 전에 원치 않는 호출 21번으로 133달러 날림; (2) 속도 제한 - 버그나 재시도 루프가 스팸 못 하게 시간당 10회 같은 식으로; (3) 일반적인 패턴 벗어나면 사람 승인 큐로 보내기. 그리고 사용자한테 증거를 보여주셈: 에이전트가 뭘 했고 왜 했는지에 대한 감사 로그. 그냥 자신감 있게 말하는 에이전트보다 '내 결정 기록은 이거임'이라고 말하는 에이전트를 사람들이 훨씬 더 신뢰함.

진짜 좋은 지적임. 특히 AI 에이전트한테 무제한 자율성을 주는 게 아니라 경계 안에서 자유를 주는 부분. 신뢰는 에이전트가 얼마나 유능하냐보다 문제가 생겼을 때 얼마나 예측 가능하고 투명하고 책임감 있느냐에서 오는 것 같음. 민감한 결정에 사람의 감독이 들어가는 건 확실히 저평가된 부분임.

증거를 요구하는 건 좋은데, 그 증거가 어디서 나오느냐가 중요함. 에이전트가 스스로 쓴 로그는 그냥 주장일 뿐임. 신뢰를 주는 증거는 메일 서버가 반환한 메시지 ID나 목적지에서 읽어온 기록처럼, 작성하지 않은 단계에서 검증된 상대방의 결과물이어야 함. 그래서 난 에이전트가 마지막으로 한 10가지 행동을 가져와서, 에이전트한테 묻지 않고도 목적지에서 각각을 증명할 수 있는지 확인해 봄. 그게 안 되면 신뢰가 없는 거고, 그게 엄격한 프롬프트보다 훨씬 시작하기 좋은 지점임. 지금 에이전트가 한 행동 중에 증명 못 할 게 뭐가 있음?

여기 조언들은 대부분 나쁜 행동을 막는 거에 집중돼 있음. 근데 진짜 자주 일어나는 실패는 더 조용한 거임: 에이전트가 계속 작동은 하는데 진전이 없는 경우. 각 단계는 멀쩡해 보임. 검색어 수정, 검증 오류 후 재시도, 툴 호출 등. 달러 제한은 도움이 되지만, 그건 언제 멈출지만 결정하지 일이 됐는지는 모름. 두 가지 추가하자면:

• 단계가 아니라 진척도를 추적하셈. 최근 몇 단계 동안 작업 상태가 안 변했다면(새 기록 없음, 새 사실 없음, 똑같은 오류 반복), 멈추고 사람한테 넘기셈.

• 재시도, 재요청, 모델 폴백을 같은 실행 예산으로 계산하셈. 안 그러면 제한이 가장 비용 많이 드는 부분을 놓침.

그리고 '완료'에 대해서는 에이전트 말만 믿지 마셈. 실제 시스템에서 결과를 다시 읽어서 요청한 거랑 비교하셈. 신뢰는 에이전트가 확신에 차서 말하는 게 아니라 그 검증에서 나옴.