AI 에이전트의 높은 오탐률, 어떻게 해결할까?

몇 가지 문제가 있음. 모델은 환각을 일으키기 쉽고 아첨하는 경향이 있음. 즉, 도움이 되려고 하거나 듣기 좋은 답만 하려 함. 모델에 내재된 문제임. 프롬프트 쿼리와 에이전트 흐름을 유지할 가드레일이 필요함. 그리고 결과를 검증할 감사 평가자도 있어야 함. 모델을 여러 번 실행해서 적대적 모델을 설정하는 등 몇 가지 방법이 있음.

더 나은 필터링이 아니라, 에이전트를 배포하기 전에 무엇이 인간의 주의를 필요로 하는지 결정하는 게 진짜 해결책임.

솔직히 모델 가중치보다 UI/UX가 더 중요하다고 봄. 에이전트 결과가 사용자의 주 작업 공간 밖에 있으면(예: 제안을 보려고 탭을 전환해야 하는 경우) 마찰 때문에 금방 외면받음. GPU 가속 뷰어에 에이전트 결과를 직접 삽입해서 1초 안에 피드백이 보이게 하는 방법을 고민 중임.

방사선과 보조 AI 사례를 봤는데 인프라 쪽을 많이 다루더라. GPU 가속 웹 뷰어에서 모든 걸 처리하면서 오탐률을 4.1에서 0.4로 낮췄음.

지금 말하는 건 오탐 문제가 아니라 아직 해결되지 않은 신뢰의 문제임. '3일 만에 모두 무시'하는 패턴은 어떤 에이전트 인스턴스가 데이터에 대해 실제로 신뢰를 얻었는지 구분할 수 없을 때 발생함. 다들 '에이전트'를 하나로 보지만 사실 아님. 같은 모델이라도 설정에 따라 신호 대 잡음비가 완전히 다름.