AI 에이전트를 실제 업무에 사용할 만큼 신뢰하려면 무엇이 필요할까요?

나한테 신뢰는 에이전트가 그냥 '작동했다'고 말하는 게 아니라, 무슨 일이 일어났는지 증명할 수 있을 때 시작됨. 나는 제한된 권한, 실제 시스템 상태에 대한 독립적인 검증, 신뢰도가 떨어질 때의 명확한 에스컬레이션, 그리고 입력값, 도구 호출, 변경 사항, 소유권에 대한 전체 추적 기록을 원함.

예를 들어, 고객 기록을 업데이트한다면 정확히 무엇이 바뀌었고, 왜 바뀌었으며, 어떻게 되돌릴 수 있는지 보여줘야 함. 에이전트의 자체 신뢰도만 믿고 되돌릴 수 없는 행동을 하는 건 절대 안 됨.

이 서브레딧을 가끔 눈팅만 하고 업무에 AI 에이전트를 딱히 써본 적 없는 사람으로서, 이 질문은 아주 흥미로움.

1. 모르는 걸 안다는 것. 에이전트가 필요한 정보가 없으면 돌아와서 말해줘야 함. 그냥 무작정 돌진하면 안 됨.
2. 일관성 / 결정론적일 것. 같은 입력에는 항상 같은 출력이 나와야 함.
3. 권한. 프롬프트에 '제발 이거 하지 마'라고 적는 수준이 아니라 실제 권한 제어가 필요함.
4. 로깅. 이건 아마…

에이전트가 완벽할 필요는 없지만, 정확히 무엇을 할 수 있는지 알아야 함

나한테 신뢰는 지능보다 감사 가능성에서 옴. 명확한 로그, 예측 가능한 권한, 쉬운 롤백, 그리고 되돌릴 수 없는 작업에 대한 인간의 승인 단계가 필요함.

난 매일 업무에 AI를 신뢰함. 너도 마찬가지고. 그 기차는 이미 아주 오래전에 떠났음. 생성형 AI LLM? 이미 1년 정도 금융 의사결정에 사용 중임.

테스트

와 씨발 여기 댓글들 다 봇임?

작성자 질문에 답하자면, 난 안 믿을 거임. 왜냐고? LLM이 어떻게 작동하는지 아니까. 걔네는 근본적으로 환각을 일으킴. 대부분의 비즈니스는 비결정론적인 게 아니라 결정론적인 워크플로우를 요구함. 그래서 대부분의 비즈니스 업무에 AI 에이전트를 쓰지 않을 거임.

아, 마지막 문장은 좀 수정해야겠네. 결정론적 워크플로우를 만들기 위한 코딩 보조 도구로는 쓰겠음. 비즈니스에서 AI 에이전트의 활용은 딱 그 정도임.

거기에 덧붙이자면, 인간의 검토 단계가 있는 '추가 전용(append only)' 방식이어야 함. 그래서 인간이 '이건 에이전트가 만든 거네'라고 명확히 볼 수 있어야지. 그건 결정론적 프로세스에서는 얻기 힘든, 적어도 쉽게 얻을 수는 없는 의미론적 인식을 제공할 수 있음. 피싱 URL을 표시하는 마이크로 모델 분류기가 있는 방화벽 같은 건 가치가 높고 라즈베리 파이에서도 돌아감.

LLM을 사용해서 결제를 자동화하거나 송장을 생성하는 건 나한테는 말이 안 됨.

나한테 가장 중요한 건 에이전트가 고립되어 작동하지 않는다는 걸 아는 거임. 어떤 시스템에 접근할 수 있는지, 무엇을 할 수 있는지, 다른 서비스에서 무언가가 필요할 때 무슨 일이 일어나는지 알고 싶고, 전체 워크플로우에 대한 명확한 기록이 있어야 함.

똑똑한 에이전트는 유용함. 하지만 통제되고 검증 가능한 워크플로우 안에서 작동하는 똑똑한 에이전트라면 비즈니스 프로세스를 맡길 수 있을 것 같음.

더 나은 결과를 내고 책임을 지게 하려면 거버넌스가 필요하다고 생각함.