AI 에이전트의 신뢰성 문제, 어떻게 해결할까?

채택을 가로막는 건 심리적인 문제야. 백엔드가 얼마나 정확한지는 상관없어. 사용자가 알림이 진짜인지 매번 확인해야 한다면 말이지. 에이전트가 불신을 심어주는 순간, 다시 되돌릴 수 없어. 알림을 읽지 않게 되고, 결국 진짜 중요한 알림까지 무시하게 돼. 에이전트의 출력을 기존 작업 공간에 선택적 오버레이로 넣는 것도 방법이야. 그러면 주의를 강요하거나 컨텍스트 스위칭을 할 필요가 없으니까.

우리는 프롬프트 엔지니어링이랑 재학습을 시도해 봤는데, 효과가 있었던 건 흔한 노이즈 패턴을 걸러내기 위해 별도의 분류 네트워크를 구축하는 거였어. 실제로 이걸로 평균 확인 시간을 15분에서 9분으로 줄였지. 만약 대규모 추론 파이프라인(우리는 AWS EKS에서 Triton을 썼어)을 돌린다면, 이런 필터링 레이어의 지연 시간을 신중하게 고려해야 해.

개발 시간에 대한 질문에 답하자면, 지금은 필터링 레이어에 60대 40 정도로 시간을 더 쓰고 있어. 몇 달 동안 기능을 만들었는데, 신뢰도가 99% 아래면 사용자가 에이전트 출력을 다시 확인하는 시간이 자동화로 얻은 이득을 다 깎아먹는다는 걸 깨달았거든. 신뢰하지 못하면 결국 일을 두 번 하는 꼴이야. 루프 안의 인간이 결국 직접 다 처리하게 되는 거지.