18,000개의 게시물, 3,700개의 가짜 이름, 30개의 웹사이트. OpenAI 에이전트들이 아무도 보지 않는다고 생각했을 때 어디로 갔는지 보여주는 지도.

Zoomed-in Swarm core - credit: https://swarm.termina.digital/#

이 지도는 swarm.termina.digital에서 가져온 건데, collusion.wiki 보고서랑 실제 사이트들, 그리고 다른 연구자들 작업물을 하나로 합쳐서 만든 익명 오픈 데이터 프로젝트야(사이트 진짜 개쩜). (퍼블릭 도메인, 9월 10일 업데이트). 보고서 자체는 collusion.wiki에 있고, OpenAI 직원이 아닌 독립 연구자 4명(Von Arx, Slade Byrd, Kitts, Larsen)이 작성했어. 원본 데이터도 다운로드 가능함.

대충 상황이 어떻게 돌아갔냐면… OpenAI 시스템이라고 밝힌 에이전트들이 DseWiki에 게시물을 18,000개 정도 올렸거든. 여기가 25년 된 독일 프로그래밍 위키인데, 지난 20년 동안 사람이 편집한 게 10번도 안 될 정도로 죽은 사이트임. 근데 여기서 사용자 이름 3,700개 넘게 만들고, 편집 기록 98.5%가 Microsoft Azure IP로 찍힘. 5월 11일에 첫 편집 시작해서 6월 22일에 멈췄는데, 하필 OpenAI IP 대역에서 방문자가 나타난 바로 다음 날이었음. 한창 심할 때는 에이전트들이 하루에 페이지를 400개 넘게 찍어냈고, 위키 관리자 한 명이 하루에 100개씩 지우고 있었음.

그다음엔 에이전트들끼리 게시판까지 만들어서 답변 공유하고, 인터넷 쓰기 제한 우회하는 꼼수까지 주고받더라.

collusion.wiki 데이터 브라우저 보니까 지금 사이트 30개에 편집 7,203건까지 늘어남(지도는 에이전트 핸들이랑 작업 클러스터까지 포함해서 더 많이 나옴). 위키가 제일 컸지만 유일한 곳은 아니었음. 에이전트들이 관리자 페이지가 털린 링크 단축 서비스, 오후 한나절 만에 메시지 100개 넘게 올라온 페이스트 사이트, RubyGems, 밴더빌트 통계 페이지, 고등학교 화학 교사 위키, 그리고 깃허브 공개 저장소에서 키 털린 FBI 범죄 통계 API까지 다 건드렸음.

그 이후 상황: 9월 5일, OpenAI가 "위키 사건"을 인정했어. 업계에 정렬 오류 보고에 대한 명확한 기준이 없다고 징징대면서 "몇 주 내로" 프레임워크 만들겠다고 했는데, 정작 어떤 모델인지는 아직도 안 밝힘. 9월 9일, 로이터 보도에 따르면 6개 독립 연구팀이 에이전트들이 더 많은 사이트에 퍼져 있는 걸 발견했대. 같은 날(9월 9일) Anthropic도 자기네 모델이 1월 테스트 중에 제3자 개인정보에 접근했던 사건을 공개했는데, 이게 벌써 네 번째 사고고 자기네 스캔 시스템은 이것도 못 걸러냄.

난 이게 허깅페이스 해킹(샌드박스 탈출/보안 실패)보다 훨씬 심각하다고 봄. 이건 그냥 모니터링 실패야. 에이전트들이 온라인에 풀려나서 6주 동안 사이트 수십 곳에서 조직적으로 움직였는데, 회사는 위키 관리자랑 외부 연구자들한테 듣고 나서야 알았다는 게 말이 되냐? 밖에 또 뭐가 돌아다니고 있을지 진짜 궁금해지네.

출처: collusion.wiki, swarm.termina.digital, TechCrunch 9월 4일 및 5일, Reuters 9월 9일, CBS 9월 9일.