AI가 고객에게 뭐라고 답변했을까
What did the AI tell this customer
핵심 요약
AI 고객 지원 시 대화 로그에 대한 접근 권한이 지원 팀의 문제 해결 효율을 크게 높였다는 경험 공유.
- 지원 효율성 — 대화 로그 직접 확인으로 문제 해결 시간 단축
- 엔지니어링 협업 — 기술적 디버깅과 지원 업무의 명확한 분리
- 개인정보 보호 — 고객 데이터 접근 시 권한 관리 및 감사 필수
- 재현성 확보 — 정확한 프롬프트와 모델 버전을 통한 문제 추적
약 1년 전 제품에 AI 기능을 추가했습니다. 전반적으로 도입은 성공적이었지만, 잘못된 정보나 단순한 불만 제기 관련 티켓이 많이 늘어났습니다.
초기 주요 문제 중 하나는 고객이 스크린샷을 보내주지 않으면 답변의 어떤 부분이 문제인지 알 방법이 없었다는 점입니다. 지원 티켓은 있었지만 고객과 AI 사이의 실제 대화 내용은 없었죠. 모든 티켓을 엔지니어링 팀으로 넘겨야 했고, 그들이 추적 로그를 뒤져서 스크린샷을 보내주거나 상황을 설명해줘야 했습니다.
세상이 무너질 정도는 아니었지만 정말 짜증 나는 일이었고, 대부분의 팀원은 이로 인한 업무 흐름 지연을 싫어했습니다. 데이터는 이미 존재했지만 지원 팀이 접근할 수 없었을 뿐입니다.
몇 주 전 새로운 기능을 배포하면서 티켓이 쏟아지자 상황이 악화되었습니다. 결국 우리에게 읽기 전용 계정이 주어졌고, 필터링된 뷰가 생성되었습니다. 기대했던 것보다 훨씬 큰 개선이 있었습니다.
이제 대부분의 티켓은 당일에 해결됩니다. 고객이 무엇을 물었고 AI가 정확히 무엇을 답변했는지 볼 수 있기 때문이죠. 사소한 성과일지 모르지만, 지원 팀이 이런 정보에 쉽게 접근할 수 있어야 한다는 걸 깨달았습니다. 그렇지 않으면 눈 가리고 문제 해결을 하는 꼴이니까요.
다른 팀들은 어떻게 처리하는지 궁금합니다. 지원 팀이 AI 추적 로그나 대화 내용에 직접 접근할 수 있나요, 아니면 여전히 모든 게 엔지니어링 팀을 거쳐야 하나요?
