핀테크용 힌디어-영어 음성 에이전트 배포 후기: 발생한 문제들과 해결책

6개월 전에 이거 만들기 시작했을 때 인도 언어 음성 에이전트에 관한 쓸만한 정보가 온라인에 거의 없어서 직접 정리해 봤다. 죄다 미국 중심이라 짜증 났거든. 그래서 이게 진짜 사후 분석이다.

배경: 핀테크용 음성 에이전트고, 결제 알림, KYC 후속 조치, 기본적인 계정 문의를 처리함. 힌디어-영어(Hinglish)를 썼는데, 우리 유저들이 실제로 그렇게 말하니까. 대도시 영어도 아니고, 순수 힌디어도 아닌, 진짜 섞인 언어 말이야.

어려울 줄 알았던 거: LLM이 힌글리시(Hinglish) 의도를 이해하는 거.
진짜 어려웠던 거: 에이전트가 어색하지 않게 말하도록 만드는 거.

골치 아팠던 순서대로 나열해 봄:

1. 숫자, 숫자, 그리고 또 숫자. 핀테크라 모든 통화에서 금액, 날짜, 계좌 참조 번호, OTP 같은 숫자를 읽어줘야 함. 초기에는 에이전트가 힌디어 문장 중간에 "aapka due amount hai one thousand four hundred ninety nine rupees"라면서 영어 덩어리를 툭 던지거나, 더 심하게는 참조 번호를 한 자리씩 안 읽고 통째로 읽어버렸음. 이것 때문에 첫 파일럿 완전히 말아먹었다. 고객들은 헷갈려했고 뭔가 미심쩍어했는데, 핀테크에서 신뢰 잃으면 끝장임.

2. 언어 전환 시 버벅임. 많은 TTS가 힌디어↔영어 경계에서 눈에 띄게 멈칫하거나 억양이 바뀜. 돈 관련 통화에서 이런 이상한 낌새가 느껴지면 사람들은 바로 "이거 사기 로봇이네" 하고 끊어버림.

3. 지연 시간, 특히 통화량 몰릴 때. 우리는 사람들이 전화를 잘 받는 시간대에 맞춰서 알림을 대량으로 보냄. 단일 통화 지연 시간은 어떤 제공업체를 써도 괜찮아 보였음. 근데 실제 동시 접속자가 몰리니까 한 업체가 800ms 이상으로 튀면서 통화가 먹통이 됨. 데모용 수치는 다 구라니까, 무조건 '니네' 실제 동시 접속 환경에서 측정해라.

4. 당연히 규제 문제. 핀테크잖아. 인도 중앙은행(RBI) 관련 검사, 데이터 보관 위치 문제, 기업 파트너들이 요구하는 SOC 2까지. 괜찮아 보였던 옵션 몇 개는 이 단계에서 바로 탈락함.

결국 해결책: 솔직히 말해서, 인도식 코드 믹싱과 숫자 정규화를 뒷전이 아니라 최우선으로 처리하는 TTS로 바꾼 게 컸음. 그리고 브라우저 탭에서 테스트하지 말고, 실제 전화망을 통해 동시 접속 환경에서 테스트한 것도 중요했고. 숫자 읽어주는 게 깔끔해지니까("aapka payment 15 tarikh tak, 2,340 rupees, reference number 4 8 2 9 1") 파일럿 지표가 완전히 달라짐. 신뢰도 올라가고 통화 완료율도 떡상함.

제품 광고할 생각은 없으니까, 궁금한 거 있으면 댓글로 물어봐. 근데 핵심 교훈은 이거임: 인도 음성 에이전트 만들 때 "어떤 목소리가 제일 예쁜가" 따지지 말고, "힌디어-영어 문장 속에서 금액, 날짜, 참조 번호를 전화선을 통해 대규모로 정확하게 말할 수 있는가"를 기준으로 평가해라. 그게 진짜 할 일이다.

뭐든 물어봐라. 이거 알아내느라 너무 오래 걸렸는데, 너희는 고생 좀 덜 했으면 좋겠다.