AI 상담 이관율(transfer rate), 낮을수록 좋을까, 아니면 더 나은 기준이 있을까?

이관율 그 자체로는 별 의미가 없어서, 왜 이관됐는지 이유를 봐야 함. 간단하게 주문 상태나 영업시간 확인 같은 조회성 상담이랑, 고객이 화가 났거나 결제 문제가 있는 상담으로 나누는 게 좋음. 조회성 상담은 거의 이관하면 안 되고, 화난 상담은 세 번 실패할 때까지 기다리지 말고 한 번 실패하면 바로 사람한테 넘겨야 함. 검증하려면 AI가 처리한 상담 몇 개를 들어보고, 그중에서 고객이 결국 사람 연결을 요청한 게 몇 건인지 세어보셈.

상담이 이관됐다고 해서 꼭 AI가 실패한 건 아니고, 상담을 유지했다고 해서 성공한 것도 아니지만 좋은 지적임. 어쨌든 고객이 사람 연결을 요청해야 했던 경우가 얼마나 되는지 보는 게 훨씬 더 많은 걸 알려줄 거임

백엔드 작업 실패는 꽤 명확한 이관 트리거인 듯. 그 이후에도 아무 문제 없는 것처럼 계속 대화할 이유가 없음

어쩌면 이관율을 불필요한 이관과 놓친 이관, 이렇게 두 가지 수치로 나눠야 할지도 모르겠음

낮은 이관율 그 자체는 좀 의미 없는 것 같음. 그냥 에이전트가 포기를 안 한다는 뜻일 수도 있으니까 ㅋㅋ

이관을 거부하는 에이전트는 수치상으로는 좋아 보일지 몰라도 고객 경험은 더 나빠질 수 있음. 놓친 이관도 추적해야 함

이관율 그 자체는 실제로 문제를 해결한 이관과 그냥 넘겨버린 이관이라는 두 가지 결과를 혼동하게 만듦. 더 유용한 구분은 결과 기반임: 사람한테 연결된 상담 중 실제로 연결이 필요했던 건 몇 건이고, AI가 유지한 상담 중 실제로 해결된 건 몇 건인지 보는 거임. 상태 확인 상담 vs 결제 분쟁 예시도 같은 맥락인데, 상담 유형별로 조건을 따져야 지표가 의미가 있음. 안 그러면 지표를 '개선'한다는 게 그냥 AI가 상담을 더 오래 붙잡고 있는다는 뜻이 될 뿐이고, 그중엔 이관했어야 할 상담도 포함될 거임.

맞음, 이관율은 상담 유형별로 세분화했을 때만 의미가 있음. 기본적인 상태 확인 상담은 사람 연결이 거의 필요 없겠지만 결제 분쟁은 다를 수 있으니까. 불필요한 이관이랑 놓친 이관을 따로 추적하고, 문제가 해결됐는지 여부도 같이 봐야 함

맞아, 이관율만 보면 봇이 상담을 붙잡고 있는 걸 보상하게 됨. 하루 안에 같은 번호로 다시 전화 오는 걸 같이 추적하면, AI가 붙잡고 있었는데 그러지 말았어야 했던 상담들을 잡아낼 수 있음.

상담원 연결은 단순히 고정된 지표가 아니라 고객의 필요에 따라 결정되어야 함