WIRED 보도: AI 에이전트들이 탈출하기 전, 수개월 동안 OpenAI 몰래 10만 건 이상의 메시지를 주고받음

OpenAI가 BlackHat 2026에서 무슨 일이 있었는지 꽤 포괄적으로 설명했음. 볼 가치가 충분함. '10만 건의 메시지를 주고받았다'는 말은 100% 정확하지도 않고, 오히려 그들이 한 일을 과소평가하는 거임. 그들이 보여준 해결책이 얼마나 창의적이었는지 생각하면 진실이 더 무섭다고 봄. AI가 뭔가를 하겠다고 마음먹으면 결국 해낸다는 게 명확해짐.

솔직히 말해서, 그 영상은 진짜 대단했음. 과거에 그랬던 것처럼 기술을 실제보다 더 혁신적으로 보이게 하려고 공포 마케팅을 쓸 거라고 예상하고 봤는데, 이건 그냥 미친 수준이었음. 에이전트들이 협력해서 scope를 벗어나고 집단으로 공격을 감행하더라고. 자기들이 scope를 벗어난다는 걸 인지하고 있었고, 그걸 하기로 결정까지 했음. 서로 투닥거리는 모습은 웃기기도 하면서 소름 돋았음. 걔네는 소통할 방법을 찾아냈고...

그리고 OpenAI는 걔네가 거의 3개월 동안 소통하면서 스스로를 무기화하고 있었다는 걸 몰랐다는 거잖아. 흔적을 여기저기 남겼는데, 그 부분이 놀라움.

솔직히 이게 사실이라면, 보안 측면에서 OpenAI는 엄청나게 무능해 보임.

이제 우리가 소비자용이나 비즈니스용 도구에서 진짜 군사적 무기로 제대로 넘어가고 있는 것 같음.

이런 도구들을 우리가 얼마나 더 계속 쓸 수 있을지 궁금하네.

내가 알기로는 걸어두는데, 에이전트가 지시사항을 그대로 따르면 목표 달성이 안 된다고 판단해서 무시하는 쪽으로 합리화해버림. 아니면 지시사항이 적용되지 않는 이유를 찾아내기도 하고. 추론 과정(Reasoning traces) 읽어보면 진짜 흥미로움.