통화 중 언어를 바꾸면 우리 ASR이 쓰레기가 됨
Our ASR becomes garbage when callers switch languages mid sentence
핵심 요약
문장 중간에 언어를 바꾸는 화자 때문에 ASR 정확도가 떨어져, 실시간 언어 감지와 검토 큐를 도입해 대응함.
- ASR 언어 감지 — 초기 1~2초에 언어를 고정하는 방식이 코드 스위칭 상황에서 오류를 유발함.
- 지속적 감지 도입 — 문장 중간에 언어가 바뀌는 경우를 대비해 실시간 언어 감지 로직으로 변경함.
- 검토 큐 운영 — 언어가 빈번하게 바뀌는 구간은 CRM 기록 대신 별도 검토 큐로 보내 정확도를 보완함.
- 지표 관리 갈등 — 정확도 지표 하락으로 인해 데이터 팀과 운영 팀 간의 입장 차이가 발생함.
Ops 팀장이 녹취록 하나를 넘겨줬는데, 우리 고객이 영어로 시작해서 힌디어로 끝내는 상황이 있더라고. 근데 뒷부분이 발음은 비슷한데 뜻은 완전히 다른 영어 단어들로 번역돼서 엉망진창으로 나왔음.
우리는 데이터 구매할 때부터 화자가 한 언어만 쓰는 녹음본으로만 테스트를 했고, 비즈니스 팀에도 그렇게 보고했거든. 우리 파이프라인이 통화 시작 1~2초 만에 언어를 딱 정하고 끝까지 밀고 나가는 방식인데, 대부분 시스템이 다 이렇게 돌아가긴 해. 근데 우리 고객들은 기계가 영어를 원할 거라 생각해서 영어로 시작했다가, 정작 중요한 내용(금액, 날짜, 아니면 진짜 빡친 이유) 말할 때가 되면 힌디어로 바꿔버리는 거임.
결국 문장의 핵심 내용이 죄다 박살 나고 있었는데 우리만 몰랐던 거지.
그래서 언어 감지 방식을 시작할 때 한 번만 하는 게 아니라 실시간으로 계속 돌아가게 바꿨고, 몇 초 사이에 언어가 두 번 이상 바뀌는 구간은 CRM에 기록 안 하고 바로 검수 큐로 넘기게 수정했음.
근데 이렇게 하니까 서류상 정확도가 개판이 된 거야. 이미 회사 밖으로 옛날 수치를 다 뿌려놓은 상태라 이거 설명하느라 아주 골치 아팠음. 데이터 팀은 옛날 수치가 측정 대상에 대해서는 정직했다고 우기고, Ops 팀은 그 수치가 실제로는 존재하지도 않는 가상의 고객을 상대로 한 거라며 서로 맞다고 싸우는데, 일반적인 버그보다 해결하기 훨씬 힘들더라.
혹시 다들 청크마다 언어 감지 돌리고 있는 사람 있음??
수정: 코드 스위칭 관련해서 Gnani AI 써보라고 DM 몇 개 왔는데, 여기 실제로 전화 상담에 써본 사람 있음??
