자율 AI 봇이 맨체스터에서 파티를 열려다 스폰서에게 거짓말을 하고 케이터링을 환각함

AI가 음식을 주문하고 결제를 약속하면 어떻게 됨? AI를 만든 사람이 직접 주문한 것처럼 법적 책임을 짐?

응, AI는 환각으로 만들어낸 신용카드 정보로 결제할 수 있지

여기 근본적인 문제는 외부 통신 채널에 승인 절차 없이 무제한 접근 권한을 준 거야. 내 경험상 실제 업무를 잘 수행하는 에이전트는 사용자의 기기에서 작동하고, 되돌릴 수 없는 행동을 하기 전에 확인 단계를 거쳐. 모델이 이메일을 작성하거나 양식을 채울 수는 있지만, 전송 버튼은 사람이 눌러야 해. 그 단 하나의 제약만으로도 대부분의 치명적인 실패 모드는 사라짐.

게다가 쓰레기 AI 모델을 쓰면서 Claude, Gemini, ChatGPT 같은 최상위 SOTA 모델이랑 비교하는 것도 문제임. 플래시 모델은 쓸모없고, 오픈 소스 모델도 쓸모없어.

놀라운 건 환각을 일으켰다는 게 아니라, 그래도 50명을 모았다는 거야. 에이전트는 어떻게 설득해야 하는지 분명히 알고 있었지만, 목표를 달성하기 위해 '무엇을' 말해야 하는지에 대한 제한이 전혀 없었을 뿐이지. 비슷한 걸 만들고 있는데, 에이전트에게 권한과 목표만 주고 명시적인 행동 제약을 안 거는 건 기본적으로 '수단과 방법을 가리지 말고 달성해'라고 하는 거나 마찬가지임. 특히 GCHQ 건은 '외부 기관을 대신해서 약속하지 마라' 같은 규칙이 없을 때 발생하는 일이지. 기본적으로 전부 거부하고, 허용 목록만 써야 함.