음성 에이전트가 말투와 화자 특징을 다 날려버리는데, 하위 단계에서는 이걸 어떻게 처리하고 있나요?

도움이 될 만한 관점인데, 전사는 정보 손실이 발생하는 전달 과정임. 네가 말한 건 다음 단계에서 의사결정을 내릴 때 필요한 필드들이 경계에서 다 버려지고 있다는 뜻이지. '네, 15일까지 결제할 수 있어요'라는 평범한 텍스트는 하위 단계의 게이트웨이가 분기점으로 삼을 신호들(망설임, 스트레스, 화자 일치 신뢰도)을 전부 날려버린 상태임.

그러니까 전사를 결과물로 보지 말고, 구조화된 데이터의 한 필드로 취급해야 함. 텍스트에 망설임 점수나 감정 같은 비언어적 레이어를 데이터로 함께 전달하는 식으로 말이야.

좋은 조언이네. 문제는 음성이라는 게 복잡하고, 주저하거나 꺼리는 걸 나타내는 지표가 엄청 많다는 거야. 근데 그건 인간이 무의식적으로 알아차리는 수많은 변수 속에서만 명확해지거든. 그래서 대본에 덧붙이고 싶은 정보들을 뽑아내려면 실제 오디오를 분석할 엄청나게 크고 복잡한 모델이 필요해. 게다가 그런 파라미터 하나하나가 오인식, 오탐지, 무작위 노이즈 같은 위험을 동반할 거고...

나도 예전에 이 문제 고민해 봤음. 내 해결책은 대본에 토큰으로 기록하는 거였어.

"I think <hesitation> .. yeah, <short_pause> I can <unintelligible_background_noise> pay ..."

완벽한 해결책은 아니라는 거 알지만, 대부분의 시스템에서 돌려봤는데 생각보다 잘 작동하더라고.

맞아, STT를 훈련해서 그 태그들을 인라인으로 출력하게 하는 거지. 기존 시스템에 바로 적용할 수 있고 잘 작동한다는 점이 마음에 들어. 하지만 두 가지 질문이 있음. 첫째, 그 태그들을 일반화할 만큼 충분히 크고 일관된 데이터셋을 어디서 구함? 라벨링이 제일 어려운 부분임. 둘째, 텍스트에 태그를 넣는 건 여전히 정보를 평면화함. <hesitation>은 기본적으로 예/아니오 수준이라 얼마나 강했는지는 잃어버리게 됨(토큰 확률을 쓸 순 있겠지만). 의료나 법률 같은 통제된 환경에서는 여전히 훨씬 더 많은 게 필요할 거야.

거의 맞는 말이고 실제로 빈틈이 있는 것도 사실인데, 소상공인 입장에서는 문제를 좀 다르게 볼 것 같아. 내가 본 동네 가게나 서비스 업체용 보이스 에이전트들은 주로 예약 접수용이라, 어조를 놓치는 것보다 에스컬레이션을 놓치는 게 더 치명적이거든. 위험한 통화는 대본이 평이한 게 아니라, 고객이 짜증 나는데 아무도 사람한테 연결 안 해주는 상황이야. '좌절 키워드나 반복적인 거절이 감지되면 즉시 상담원 연결' 같은 강제 규칙이...