Voice AI가 실무에서 제 성능을 못 낼 때 실제로 치르는 비용은 얼마인가

두 번째 항목이 가격을 매기기 가장 어려움. 왜냐하면 로그에는 아무것도 남지 않으니까. 통화는 완료되고, 처리 결과는 해결됨으로 뜨고, 대본도 멀쩡해 보임. 그러다 6주 뒤 코호트 보고서에서 이탈이 나타나는데, 원인이 된 통화와는 연결 고리가 전혀 없음. 우리가 수치를 매기는 데 도움이 된 건 최종 결과가 아니라 통화의 각 단계를 점수화하는 거였음: 의도를 제대로 파악했나, 툴 호출이 필요한 값을 반환했나, 행동을 수행하기 전에 확인했나 등.

우리 경험상 가장 비용이 많이 드는 실패 유형은 에스컬레이션 없이 자신 있게 틀린 답을 내놓는 경우임. 이건 컨테인먼트 지표에는 안 나타나고, 몇 주 뒤에 반복 문의나 고객 이탈로 나타남. 이걸 확인하려면 두 가지가 필요함: 모델한테 불확실할 때 에스컬레이션하라고 프롬프트로 시키는 게 아니라, 코드에 결정론적인 에스컬레이션 규칙을 넣는 것, 그리고 통화 한 건당 트랜스크립트, 툴 호출, 핸드오프 맥락을 하나로 묶는 감사 추적을 남겨서 상담원이 아무것도 모르는 상태로 수습하지 않게 하는 것. 나는 규제 산업용 음성 플랫폼에서 일하는데...

에스컬레이션 없이 자신 있게 틀린 답을 내놓는 게 가장 걱정해야 할 실패 유형이라는 말에 동의함. 이게 왜 안 보이는지 정확히 짚고 넘어갈 필요가 있는데, 그래야 계약 전에 뭘 확인해야 할지 알 수 있기 때문임. 통화 결과가 '해결됨'으로 찍히는 건 그냥 상담원 연결 없이 통화가 끝났다는 뜻일 뿐, 고객이 올바른 답을 얻었다는 뜻은 아님. AI가 운 좋게 맞았을 때만 그 두 사실이 일치하는 거임. 5% 확률로 틀리면서 자신감 있게 말하는 시스템은 겉보기엔 아주 훌륭한 컨테인먼트 지표를 보여주지만...

저는 Level AI에서 일하고 있고, 기업용 voice AI 에이전트를 배포하는 일을 합니다.

다른 분들이 주요 포인트는 이미 잘 짚어주셨네요.

저는 모든 상호작용에 대해 점수를 매겨보라고 권하고 싶습니다. 샘플만 가지고 평가하다 보면 중요한 정보가 많이 누락되는 걸 자주 보거든요.

비용 관련 질문에 답하는 걸 깜빡했네요, 죄송합니다.

비용 문제들을 순서 상관없이 나열하자면:

• 재작업에 들어가는 시간: 상담원들이 AI가 망쳐놓은 통화를 수습하느라 시간을 쓰는데, 이게 아예 처음부터 직접 처리하는 것보다 더 오래 걸리는 경우가 많습니다.
• 반복적인 연락: 잘못된 핸드오프 때문에 통화량이 늘어나고, 고객들은 같은 설명을 반복해야 합니다.
• 숨겨진 이탈: AI가 자신 있게 틀린 답을 내놓으면 해결된 것으로 표시되지만, 고객은 그냥 떠나버리고 우리는 추적할 통화 기록조차 남지 않게 됩니다.

대충 이 정도네요.

데이터가 처음부터 제대로 정리 안 됐으면 보이스 AI 에이전트 두 번 써본 건 별 의미 없음. 네 설명 들어보면 문제는 트래킹이었음. 트래킹도 부실했고 평가 과정은 더 엉망이었네. 레이턴시도 여러 요인이 얽혀있지만, 결국 다 같은 문제로 귀결됨. 제대로 된 지표를 일관되게 측정하지 않았다는 거임. 네가 말한 업무들에 에이전트 하나만 썼다면 그것도 문제임. 빌링, 트러블슈팅 등등 업무별로 에이전트 여러 개가 필요하다고. 그게 내 주...

솔직한 버전 원한다니까 말해줌. 진짜 타격 큰 비용은 눈에 띄는 '통화 끊김' 같은 게 아님. 나중에 뒤늦게 터지는 보이지 않는 비용들이지. 제일 비싼 실패는 AI가 대놓고 망해서 상담원한테 넘기는 상황이 아님. 그건 괜찮음, 고객이 사람 상담원 연결받으면 그만이니까. 진짜 비싼 건 AI가 성공했다고 착각하는데 실제론 아닌 경우, 즉 '당당하게 틀리는' 케이스임. 빌링 질문을 잘못된 정보로 해결해버리거나, 해결 안 된 문제를 해결된 걸로 처리해버리면 나중에...