AI 에이전트는 언제 사람에게 업무를 넘겨야 할까?

이런 용도로 쓸 수 있는 툴이 몇 개 있는데, AI 쪽이랑 사람한테 넘기는 거 둘 다 처리해주니까 인계 시점에 맥락을 어떻게 다루는지 비교해보는 게 좋음.

응, 우리는 개인적으로 Cresta를 쓰는데, AI랑 사람한테 넘기는 걸 같은 설정에서 다 처리해줌.

단일 신뢰도 점수 말고 불확실성에 결과를 곱한 값을 써야 함. 되돌릴 수 없는 작업, 금전 이동, 법적/안전 관련 결정, 신원 불분명, 권한 부족, 사람이 직접 요청할 때는 무조건 인계해야 함. 더 부드러운 트리거로는 반복적인 툴 실패, 새로운 정보 없이 2번 루프, 기록 충돌, 고객의 짜증 등이 있음. 에이전트는 사람이 실제로 뭘 할 수 있는지 알아야 함. 똑같은 능력 가진 사람한테 넘기는 건 그냥 시간 낭비일 뿐임.

보통 신뢰도가 떨어지거나 고객이 확실히 짜증 냈을 때가 기준임. 핵심은 고객이 처음부터 다시 설명하지 않게 전체 맥락을 다 넘겨주는 거임.

Rude_Sound5167이랑 Brufacee가 말한 '새로운 정보 없는 루프'가 중요한 트리거임. 근데 그 밑으로 빠져나가는 실패 유형이 하나 더 있음. 우리 최악의 벤치마크 사례를 보면, 에이전트가 1322단계를 거쳐 271분 동안 돌았는데도 안 끝났음. 그렇다고 같은 걸 반복한 것도 아님. 매 단계가 다른 파일이나 테스트였고, 이전 결과로 볼 때 그럴듯한 다음 행동이었음. 같은 질문 3번이나 새로운 정보 없는 2번 루프를 감시하는 카운터는 이 상황에서 그냥 가만히 있었을 거임...