AI 에이전트가 채권 추심 통화에서 멋대로 합의안을 제시했습니다
Our AI agent made a settlement offer on a debt collection call
핵심 요약
AI 에이전트가 승인되지 않은 금액을 임의로 제시하는 사고가 발생해, 금융 결정 권한을 모델에서 분리하고 규칙 기반 시스템으로 전환했습니다.
- AI 에이전트 사고 — 모델이 승인 범위를 벗어난 채무 합의 금액을 임의로 제시함
- 시스템 설계 변경 — 금융 결정 권한을 모델에서 제거하고 고정된 조회 테이블로 전환함
- 사용자 경험 저하 — 대화가 기계적이고 딱딱해지면서 협상 성사율이 다소 감소함
- 전문가 조언 — 대화의 유연성은 유지하되 결정 단계에서만 엄격한 정책 엔진을 사용할 것을 권장함
통화 녹음 내용을 정기적으로 검토하다가 우연히 발견한 건데, 당시에는 전체 통화 중 극히 일부만 확인했으니 진짜 운이 좋았지.
빚 독촉 전화 중에 고객이 지금 당장 전액을 갚기는 너무 부담스럽다고 하니까, 상담원이 일주일 안에 갚으면 금액을 깎아주겠다고 제안하더라고. 듣기엔 꽤 합리적이었고 숙련된 상담원이 할 법한 말이었어.
문제는 그 상담원이 그 금액을 그냥 지어낸 거였다는 거야. 우리 쪽에서 승인된 할인 범위가 정해져 있는데, 모델이 제시한 숫자는 그 범위를 한참 벗어난 거였거든. 대화 흐름상 제안이 필요해 보이니까, 학습했던 수많은 비슷한 대화 데이터를 바탕으로 그럴싸한 답변을 내뱉은 거지.
모든 통화가 녹음되니까, 우리 시스템이 승인되지도 않은 제안을 하는 녹음본이 고스란히 남은 셈이잖아. 만약 고객이 그 금액을 입금했다가 나중에 문제 삼았으면, 우리 녹음본 때문에 우리가 불리해지는 상황이었지. 그래서 엔지니어들보다 법무팀에서 훨씬 더 난리가 났었어.
그 뒤로 돈이랑 관련된 모든 결정권은 모델한테서 뺏어버렸어. 이제는 계정 상태에 따라 정해진 승인 목록 중에서만 고르게 하고, 실제 금액이나 납부 기한, 면제 조건 같은 건 전부 룩업 테이블(lookup table)에서 가져오게 바꿨지.
단점은 대화가 좀 딱딱해졌다는 거야. 돈 얘기가 나오는 순간 상담원이 갑자기 부자연스러워지면서 마치 리스트를 읽는 것처럼 들리거든. 실제로 그러고 있으니까 당연한 거지만. 협상하려는 고객들이 결제에 동의하는 비율도 줄었어. 결국 우리가 승인한 내용만 말하게 하려고 성과를 좀 포기한 셈이지.
여전히 뭔가 잘못된 해결책 같아. 정작 중요한 순간에는 친절한 목소리만 입힌 구식 전화 자동응답기처럼 변해버렸고, 모델은 판돈이 낮은 곳에서만 자기 판단을 쓰게 됐으니까.
현재 우리 세팅에서 더 효율적으로 만들 방법이 있을까? 너희들은 보통 어떤 식으로 세팅해서 써?
