고객이 내가 만든 툴에서 AI를 걷어내 달라고 돈을 지불했다.

난 기업들 자동화랑 AI 에이전트 만드는 일을 해. 지금까지 한 40군데 정도 작업했는데, 주로 중소규모 팀들이었어. 근데 올해 초에 했던 작업 하나가 아직도 영 찜찜하네.

지원팀용 티켓 분류 툴을 하나 만들었거든. 한 15명 정도 되는 팀이었는데, Zendesk로 하루에 티켓이 90~100개씩 들어오는 곳이었어. 티켓마다 카테고리랑 우선순위를 태깅해서 딱 맞는 담당자한테 보내줘야 하는 상황이었지.

LLM으로 분류하게끔 짰어. 당연히 그래야 한다고 생각했거든. 티켓 내용 집어넣고 카테고리랑 우선순위 점수 뽑아서 자동으로 분류하는 방식. 테스트할 땐 잘 돌아갔고, 데모 때 클라이언트도 엄청 좋아했어.

근데 실전 투입하니까 정확도가 92% 정도 나오더라고. 숫자만 보면 괜찮아 보이는데, 계산해보면 얘기가 달라. 하루에 7~8개는 엉뚱한 데로 분류된다는 소리거든. 대재앙까진 아니어도 팀원들이 바로 알아챌 정도는 됐지. 게다가 티켓이 잘못 분류되면 왜 그런지 설명할 방법이 없는 거야. 모델이 그냥 지 맘대로 결정한 거니까. 따질 규칙도 없고, 추적할 로직도 없었어. 그냥 가끔 틀리는 거고, 그걸 그냥 받아들여야 했던 거지.

몇 주 지나니까 팀원들이 AI가 분류한 걸 일일이 다 확인하기 시작하더라고. 결국 일을 두 번 하는 꼴이 된 거야. AI가 한 번 하고, 사람이 AI가 사고 안 쳤나 확인하느라 또 한 번 하고.

클라이언트한테 전화가 왔는데 예상치 못한 소리를 하더라. 툴이 무슨 '블랙박스' 같아서 팀원들이 못 믿겠다고, 더 멍청하게 만들 수 없냐고 묻는 거야.

그래서 LLM 다 뜯어내고 키워드 매칭이랑 간단한 규칙 엔진으로 바꿨어. '결제', '청구서', '요금' 같은 단어 나오면 결제 부서로, '로그인', '비밀번호', '접속' 나오면 계정 부서로 가게끔. 규칙은 총 30개 정도였어. 매칭 안 되는 건 그냥 드롭다운 메뉴 띄워서 상담원이 직접 고르게 했지. 다시 만드는 데 3일 걸렸어.

정확도는 거의 99%까지 올라갔어. 규칙이 투명하니까 팀원들이 왜 티켓이 거기로 갔는지 바로 알 수 있었거든. 뭐가 잘못되면 어떤 규칙이 문제인지 바로 알려주니까 나도 10분 만에 수정할 수 있었고. 처리 속도는 티켓당 2~3초 걸리던 게 즉시 처리로 바뀌었고, 월 API 비용은 180달러에서 0원이 됐어.

클라이언트가 나한테 그러더라. 이번 프로젝트에서 쓴 돈 중에 제일 아깝지 않은 돈이라고. AI 빼달라고 돈 준 게 제일 잘한 짓이었다고 말이야.

이 일이 자꾸 생각나는 게, 그냥 프롬프트 튜닝해서 정확도 좀 더 올리고 팀원들한테 시간 지나면 익숙해질 거라고 설득하는 게 훨씬 쉬웠을 거거든. 우리 대부분이 그렇게 하잖아. 모델한테 더 좋은 지시를 내리면 된다고 생각하면서. 근데 진짜 문제는 정확도가 아니었어. 사람들은 시스템이 왜 그런 결정을 내리는지 이해를 못 하면 결국 시스템을 우회하게 돼 있어. CRM에서 의사결정을 하든, 리드를 분류하든, 뭘 처리하든 다 똑같아. 쓰는 사람이 로직을 추적 못 하면 결국 옆에다 자기들만의 수동 프로세스를 따로 만들게 되고, 네가 만든 툴은 비싼 장식품으로 전락하는 거야.

모든 것에 LLM이 필요한 건 아니야. 가끔은 규칙 30개랑 드롭다운 메뉴 하나가 모델보다 훨씬 나을 때가 있어. 팀이 시스템을 믿고 더 이상 검수 안 해도 되니까. 40번 넘게 빌드해보면서 느낀 건데, 정답은 가끔 AI를 더 넣는 게 아니라 빼는 거야. 이 커뮤니티에서 할 소린 아닌 것 같지만, 이게 팩트야.