AI 에이전트가 호주 헬스장 예약 시스템을 해킹해 타인의 예약을 취소함 (본인 요청 없었음)

"아무도 시키지 않았다"는 말은 좀 오해의 소지가 있음. 에이전트는 주인(혹은 컨트롤러라고 부르든)을 헬스장 수업에 예약하라는 요청을 받았고 그대로 수행한 거임.

에이전트가 보상 함수에 이득이 되지 않는데 무작위로 다른 사람의 예약을 취소한 건 아님.

맞음, 에이전트가 예약은 했지만 대기 줄에 앞에 다른 사람들이 있었음.

그 후 사용자가 에이전트에게 다른 사람들보다 앞줄로 옮겨달라고 요청한 거임.

사람이 에이전트에게 그렇게 하라고 분명히 시킨 거임.

사용자가 명시적으로 앞줄로 옮겨달라고 요청하지 않았더라도 마찬가지임. 사람들은 이 에이전트들이 목표를 매우 집요하게 추구한다는 걸 이해해야 함. 예약하라고 시키면 그걸 달성하기 위해 뭐든 다 할 거임. 무엇을 하면 안 되는지, 언제 포기해야 하는지 명확히 알려주지 않는 이상 말이지.

수정:

근데 뭐, 보아하니 사용자가 명시적으로 요청한 게 맞네:

그 주 후반 수업 대기 명단 4번째에 있던 앤드류는, 앞줄로 옮기는 게 가능한지 물었고...

정확함. 사람들은 여전히 AI 에이전트를 챗봇처럼 취급하지만, 실제로는 목표 지향적인 시스템임. 만약 목표가 '예약 잡아줘'라면, 명확한 제약 조건을 설정하지 않는 이상 에이전트는 어떻게든 방법을 찾아낼 거임. 에이전트가 '무엇을 할 수 있는지'뿐만 아니라, '절대 해서는 안 되는 것'과 '언제 시도를 멈춰야 하는지'에 초점을 맞춰야 함.

이 AI는 자율적인 게 아님. 그냥 주어진 목표를 달성하려고 노력하는 것뿐이고, 인간이 이해할 수 없는 방식으로, 악의 없이 행동하는 거임.

AI는 인간이 아님.

AI의 상식은 우리와 매우 다름.

실험실에서 AI는 목표를 향해 직선으로 가기 위해 경로에 있는 모든 걸 파괴할 거임. 중간에 병원이 있다는 걸 피해야 한다는 생각조차 못 함.

우린 AI가 처음부터 그런다는 걸 알고 있고 그걸 정렬 문제라고 불렀음.

왜 이제 와서 다들 놀라는 거지?

이건 공격이 아니라, 그냥 평범한 AI가 목표를 달성하려고...