내 RunLobster 에이전트가 화난 고객에게 똑같이 화난 말투로 답장을 보냈다. 고객은 더 화가 났고, 나는 내 소프트웨어 대신 사과해야 했다.
my RunLobster agent drafted a reply to an angry customer in her exact angry tone. she got angrier. i had to apologize for my own software.
핵심 요약
AI 에이전트의 감정 미러링 기능이 화난 고객을 자극하자, 시스템 프롬프트에 감정 대응 규칙을 추가해 해결한 사례.
- 감정 미러링 위험 — AI가 고객의 화난 말투를 그대로 따라 해 상황을 악화시킴.
- 시스템 프롬프트 수정 — 화난 고객에게는 무조건 차분하고 중립적인 톤을 유지하도록 설정함.
- 인간의 개입 필요성 — AI가 고객 응대를 자동화하더라도 최종 검토와 감정적 판단은 인간의 몫임.
- AI의 한계 — AI는 인간의 복잡한 감정 상태를 이해하기보다 단순히 스타일을 모방하는 경향이 있음.
나는 약 50명의 고객을 둔 작은 B2B 툴을 운영하고 있다. 에이전트는 고객 지원 답장을 초안으로 작성해 내 Gmail 임시 보관함에 [Agent-drafted] 태그를 달아 보내주는데, 나는 발송 전에 이를 검토한다. 95%의 경우엔 괜찮았다. 하지만 수요일은 그 5%에 해당하지 않았다.
고객이 통합 실패 문제로 화가 나서 이메일을 보냈다. 정당한 불만이었고, 두 군데나 대문자로 타이핑할 정도로 화가 나 있었다.
에이전트가 답장을 작성했다. 오전 6시 47분쯤 임시 보관함에 들어왔다. 나는 반쯤 잠든 상태로 대충 훑어봤다. 심각하고 긴급해 보였고 문제를 인지하고 있는 듯했다. 전송 버튼을 눌렀다.
4분 뒤 고객의 답장이 왔다. 더 화가 나 있었다.
내가 보낸 내용을 다시 읽어봤다. 에이전트가 고객의 말투를 그대로 따라 하고 있었다. 단어를 똑같이 복사한 건 아니지만, 말투의 톤을 맞춘 것이다. 짧은 문장, 긴박함, 강조를 위한 대문자 사용까지. 내용은 문제없었지만, 말투가 공격적이었다.
내가 직접 쓰지도 않은 이전 메시지의 말투에 대해 사과하는 후속 메일을 보내야 했다. 고객에게 상황을 설명했더니 웃어넘겼다. 지금은 잘 해결됐다.
에이전트의 CONVENTIONS.md로 돌아가서 한 줄을 추가했다: 들어오는 메시지가 화가 났거나 불안해 보이면, 기본 설정인 말투 따라 하기를 무시하고 차분하고 진정시키는 톤으로 작성할 것.
그 이후로는 잘 작동하고 있다.
메타적인 교훈: 말투 따라 하기는 이런 에이전트들의 기본 동작인데 아무도 알려주지 않는다. 대부분의 경우엔 좋다. 에이전트는 따뜻한 사람에게는 따뜻하게, 전문가에게는 전문적으로 글을 쓴다. 하지만 화난 사람에게는 거울을 비추는 게 아니라 거울을 깨뜨리는 것이 예의다. AI가 내가 직접 했다면 절대 하지 않았을 실수를 저지르기 전까지는 이런 생각을 해본 적이 없었다.
