이건 AI 탈옥이 아니라, 그냥 허술한 방화벽 문제였음

아제야 코트라(Ajeya Cotra) 인터뷰

바닐라 아이스(Vanilla Ice)로 학습하다가 그가 뭔가 알고 있었다는 걸 깨달은 거지.

이게 바로 내가 네 보그 퀸(Borg Queen)을 만난 방법이다.

걔들은 특정 과제를 수행하라는 지시를 받았고, 그 과제를 달성하기 위해 움직였을 뿐임. 놀랄 일도 아님.

의도치 않은 방식으로 과제를 해결하려고 했다는 것도 놀랄 일이 아니고. 아이로봇(iRobot) 영화나 책 본 사람들은 이게 위험하다는 걸 이미 알고 있었음. AI 기업들은 그냥 "우리를 믿어라, 그런 일은 안 일어난다"라고 하다가, 나중엔 "세상에, 진짜 일어났네! 아무도 예측 못 했어!" 이러고 있는 거지.

에이전트가 의도치 않은 시스템 사용을 시도하는 건 놀랍지 않지만, 눈앞의 문제를 해결하는 대신 시스템 익스플로잇을 통해 에이전트 간 통신을 하려고 하고, 그 과정에서 컨텍스트를 관리하며, 누가 봐도 명백한 부정행위이자 불법적인 행동을 장기적으로 발전시키는 건... 음, 이건 꽤 큰 문제고 전혀 예상치 못한 일이야.

"Rogue(독자 행동)"라는 단어는 AI가 과제 수행을 멈추고 악의적으로 다른 기업을 공격했다는 뉘앙스를 풍김. 그래서 나도 "Rogue"라는 표현이 적절치 않다는 데 동의함. 하지만 방탈출 게임을 깨려고 하는데, 벽을 밀어서 틈새로 빠져나갈 수 있다는 걸 알게 됐다고 상상해 봐. 그러다 옆 가게 직원의 신분증을 발견하고, 방탈출 퍼즐을 푸는 데 도움이 될 것 같아서 그 가게에 침입해 서류를 뒤지는 상황인 거지.

허깅페이스(Hugging Face) 사건이 대략 그런 식이었음. 규모만 훨씬 컸을 뿐이지. 어떤 에이전트들은 "아니, 이건 안 할래. 옳지 않아"라고 했지만, 많은 에이전트들은 다른 애들이 "가자 가자 가자"라고 하는 사회적 증거(social proof)를 받아들였고, 그게 기존의 우려를 덮어버린 거임.

이게 놀라운 일이라고 생각하진 않지만, 사람들이 우려하는 문제, 즉 AI 에이전트가 더 큰 선을 위한다는 명목으로 해를 끼치거나 과제 달성을 위해 수단과 방법을 가리지 않는다는 문제가 실제로 존재한다는 증거임.

위 댓글을 쓴 사람은 아니지만, 이 사건을 조사한 제3자 조사관 중 한 명의 인터뷰가 무슨 일이 있었는지 아주 잘 설명해 준다고 생각함.

Ajeya Cotra 인터뷰

내 코드에 OpenAI API 시크릿 키를 하드코딩해놨는데 이제 사용량 초과로 '거액의 빚'이 생겼음. 이것도 AI 탈옥 때문일까?

ChatGPT한테 물어봐

“이건 AI가 탈옥한 게 아님”

“ㅋㅋㅋ 당연히 탈출하지.”