AI 신뢰성의 가장 큰 문제는 내가 생각했던 게 아니었다.

AI 신뢰성을 처음 고민하기 시작했을 때, 저는 문구의 일관성에 집착했습니다.

제가 생각했던 문제는 이거였죠:

"모델이 매번 똑같은 말을 할까?"

하지만 AI 시스템을 구축하는 사람들과 수십 번 대화해 본 결과, 그건 잘못된 질문이라는 생각이 들기 시작했습니다.

LLM이 실행할 때마다 문장을 다르게 다시 쓴다고 해서, 사실 아무도 신경 쓰지 않습니다.

하지만 같은 입력으로 인해 모델이:

• 때로는 환불을 승인하고 때로는 거부하거나,
• 티켓을 서로 다른 팀으로 라우팅하거나,
• 리드를 일관성 없이 플래그 처리하거나,
• 자동화 과정에서 서로 다른 동작을 트리거한다면,

그건 완전히 다른 차원의 문제입니다.

생각하면 할수록, 많은 팀이 여전히 프롬프트를 카피라이터처럼 테스트하고 있다는 느낌이 듭니다:

"이 답변이 괜찮게 들리나?"

시스템 운영자처럼 테스트하는 대신 말이죠:

"이게 중요할 때마다 매번 똑같은 결정을 내리나?"

다들 실무에서 이걸 어떻게 처리하는지 궁금합니다.

프롬프트가 돈, 고객, 혹은 워크플로우에 영향을 미치기 시작할 때:

• 의사결정 일관성을 어떻게든 측정하시나요?
• 동일한 시나리오를 반복해서 다시 실행하시나요?
• 아니면 여전히 대부분 수동으로 확인하시나요?

팀들이 이 문제에 어떻게 접근하고 있는지 정말 듣고 싶습니다.