지난 3개월간 비즈니스에 AI 음성 에이전트를 도입하며 배운 점들

지난 3개월간 우리 사업에 AI 음성 에이전트를 써보면서 배운 점들

지난 3개월 동안 우리 사업장에 걸려 오는 전화를 받으려고 AI 음성 에이전트를 직접 돌려봤다. 나중에 SaaS 플랫폼으로 키워보겠다는 생각으로 바닥부터 직접 다 만들었다.

그동안 겪었던 문제들, 어떻게 해결했는지, 그리고 진짜 돈값은 하는지 등등 지금까지 배운 것들을 좀 공유해보려고 한다.

기본 정보 제대로 알아듣게 하는 게 생각보다 존나 어려웠다.

초반에 제일 골치 아팠던 게 우편번호, 이름, 이메일 주소를 에이전트가 제대로 받아적게 만드는 거였다.

우리가 쓴 STT(음성 인식) 모델이 문제였는지 뭔지 모르겠는데, 시중에 있는 건 거의 다 써봤다. 어떤 건 좀 낫고 어떤 건 별로였지만, 이 작업들을 꾸준히 완벽하게 해내는 놈은 하나도 없었다.

결국 몇 가지 꼼수를 썼다.

우편번호는 아예 우편번호 데이터베이스를 따로 붙여서, 모델이 받아적은 거랑 실제 우편번호를 대조해보고 제일 그럴싸한 걸로 끼워 맞추게 했다. 이름도 비슷한 방식으로 처리했다.

이메일 주소는 차원이 다른 문제였다. 이건 아직도 딱히 마음에 드는 해결책을 못 찾았다.

그래서 지금은 에이전트가 필요한 질문을 다 하고 답변을 녹음한 다음에, 발신자한테 문자를 보내서 링크를 클릭해 직접 정보를 확인하고 이메일 주소를 입력하게 만들었다.

놀랍게도 이게 존나 잘 먹힌다. 완료율이 60% 정도 나온다.

3개월 동안 에이전트가 전화를 꽤 많이 받았다.

대체로 일은 잘했다. 그동안 우리가 쓰는 모델들도 업데이트되면서 자잘한 결함들이 조금씩 사라지는 게 눈에 보였다.

우리가 처음부터 끝까지 고집한 건, 에이전트가 통화 시작할 때 무조건 자기가 AI라고 밝히게 하는 거였다.

AI 에이전트를 사람처럼 속여서 상대방이 눈치 못 채게 만들자는 논의를 많이 봤는데, 개인적으로는 그런 방식에 동의 안 한다. 사람들은 처음부터 상대가 누군지 알아야 한다고 생각한다.

지연 시간(Latency)도 진짜 골칫거리였다.

초창기에는 에이전트가 정보 처리하는 동안 생기는 그 어색한 침묵을 메우려고 키보드 치는 소리를 넣기도 했다.

무슨 1980년대 감성도 아니고 존나 웃겼다!

결국 그 짓은 때려치우고, 백그라운드에서 돌아가는 프로세스를 최적화해서 딜레이를 줄이는 데 집중했다.

지금은 훨씬 나아졌지만, 아직도 개선할 여지는 많다고 본다.

배경 소음이 생각보다 문제를 많이 일으켰다.

사람들이 길거리 걸어 다니면서, 시끄러운 장소에서, 아니면 주변에서 대화하는 소리가 들리는 상태로 전화를 걸어대니까 문제였다.

가끔 에이전트가 엉뚱한 단어를 주워듣고는 그걸 문맥에 맞추려고 개지랄을 떨 때가 있었다.

그래서 노이즈 캔슬링 기능을 넣고, 대화 맥락상 말이 안 되는 정보가 들어오면 에이전트가 어떻게 대처할지 로직을 싹 바꿨다.

솔직히 말해서 최근에는 이런 문제가 거의 안 보여서, 이 싸움은 우리가 이긴 것 같다.

고객들이 진짜 AI랑 통화하고 싶어 할까?

시작하기 전에 이게 제일 걱정이었다.

근데 놀랍게도, 그렇다. 대부분의 발신자는 AI랑 통화하는 걸 딱히 거부감 없이 받아들이고, 심지어 재밌어하는 사람들도 있다.

어떤 사람들은 에이전트한테 어떤 플랫폼으로 만들었냐, 어떤 모델 쓰냐, 어떻게 작동하냐고 물어보기도 한다.

심지어 어떤 사람은 케이크 레시피 좀 알려달라고 떼쓰더라!

다행인 건, 우리가 테스트하고 관찰한 모든 경우에 에이전트가 딴길로 안 새고 정중하게 거절했다는 점이다.