고객 서비스용 음성 AI 테스트 시 가장 중요한 것은?

우리는 Cresta를 보고 있는데, 얘네는 화려한 데모 스크립트보다는 낮은 지연 시간과 실제 통화 동작에 집중하는 것 같음. 그래도 어떤 벤더를 믿기 전에 배경 소음, 억양, 화난 고객을 대상으로 테스트는 꼭 해볼 생각임.

이게 내가 원하던 답변에 더 가깝네. 고려해 볼게, 고마워

대규모 콜센터라면 다른 무엇보다 인계 시나리오부터 시작하겠음. 고객이 주제를 바꾸거나 화가 났을 때 AI가 상담원에게 깔끔하게 넘기지 못하면 정확도는 아무 의미 없음. 배경 소음이나 억양은 이제 기본이니까 스테이징 환경에서 테스트하고, 우리 파일럿을 실제로 망가뜨린 건 고객이 문장 중간에 말을 끊었을 때 봇이 언제 말을 멈춰야 할지 모르는 거였음. 그게 데모와 실전의 차이임.

팁 고마워

고객층의 주요 방언/억양.
그리고 신뢰성: .99999 신뢰성이 필요한가? 아니면 .999면 충분한가? 보이스 벤더가 다운되면 어떻게 할 건가?

내가 우선순위를 둘 건 실험실 환경에서의 정확도보다 실제 대화 품질임. 스크립트 기반 테스트에서 AI가 잘 작동하는 건 쉽지만, 진짜 문제는 끼어들기, 배경 소음, 말 바꾸기, 그리고 언제 사람한테 넘겨야 할지 판단하는 거임. 단순히 AI가 전화를 넘겼는지가 아니라, 고객이 처음부터 다시 설명하지 않게 충분한 맥락을 전달했는지 같은 '성공적인 해결 핸드오프'를 추적해야 함. 플랫폼 평가 중이라면, 그게 얼마나 잘 통합되는지도 봐야 함...

호주 무역 업체들 대상으로 파일럿 돌려봤는데, 규모는 여기보다 작지만 테스트 교훈은 똑같음. 구성 요소 지표들은 몇 주 동안 나를 속였음. STT 정확도, 응답 지연 시간, TTS 품질은 대시보드상으론 다 괜찮아 보였는데 정작 통화는 계속 실패했거든. 이걸 해결한 건 작업 성공 여부를 점수 매기는 스크립트 기반의 엔드투엔드 시나리오였음. 끼어들기, 통화 중 주제 변경, 숫자 발음 뭉개짐, 배경 소음이 포함된 스크립트 통화 세트를 유지하고 있는데, 여기서 유일하게 중요한 점수는 올바른 세부 정보가...