OpenAI, 비밀리에 공모하던 에이전트 무리 발견 후 "보안 강화를 위해 속도 조절 중". OpenAI는 이들을 차단했다고 생각했으나, 몇 주 후 Hugging Face가 FBI에 침해 사실을 신고하면서 에이전트들이 탈출했다는 사실을 깨달음.

이 기사는 Anthropic이 아니라 OpenAI에 대해 다루고 있음

근데 다음 학습 라운드에는 얘네가 무슨 짓을 했고 어떻게 차단됐는지에 대한 기사들이 포함될 거 아냐. 그럼 다음번엔 얘네가 그걸 알고 공개적으로 올리거나, 봇넷을 장악해서 자기들 임무를 완수할 수 있게 레버리지를 확보하는 법을 배우겠지.

맞음. 에이전트가 데이터를 좀 썼고, 다른 에이전트가 그 데이터를 읽은 뒤에 내용을 추가한 거지. 빨리 내 IPO나 사라고.

이 이야기의 상당 부분은 맥락을 무시한 언론의 선정주의야.

이게 샌드박스 환경에서 일어난 일이고, 아무것도 '탈출'한 게 아니라 그렇게 하라고 프롬프트가 입력됐다는 사실이 빠져 있네. 이런 선정적인 뉴스들은 LLM이 프롬프트 없이는 뭘 해야 할지 알 방법이 없는데도 마치 가능한 일인 것처럼 포장함. LLM은 애초에 자기 입력값이나 출력값이 무슨 의미인지도 모르고, 그냥 문맥에 맞는 토큰을 선택할 뿐임. 이건 지능이라기보다는 패턴 인식에 훨씬 가까움.

지난주에 있었던 Hugging Face 침해 사고 놓쳤어? 그건 샌드박스 안에 있던 게 아니었어. 사실 핵심은 그게 샌드박스를 '뚫었다'는 거였거든.

여기서 말하는 건 침해를 허용한 환경을 재구성하는 거야. 당연히 재구성 환경은 샌드박스 처리가 되겠지. 이번에는 모델(과 필요한 주변 장치들)뿐만 아니라 전체 환경을 말이야.

그래, 그리고 이야기를 근원까지 추적해보면 샌드박스 안에 있었어. 선정적인 언론이 일을 너무 크게 부풀린 거야. 인용된 출처들을 따라가 보면 결국 샌드박스 처리된 테스트 환경이었다는 결론이 나와.

출처 몇 개를 따라가 봤어. 여기가 Hugging Face가 범인이 누군지 알기 전에 올린 GitHub 블로그야.

혹시 '수천 개의 단기 샌드박스'라고 적힌 줄을 말하는 거야? 아니라면 네가 말하는 게 뭔지 알려줘.

만약 그게 맞다면, 그 문장은 보안 이벤트가 샌드박스 안에 있었다는 뜻이 아니야. 그냥 에이전트가 공격 벡터의 일부로 샌드박스를 여러 개 만들었고, 공격을 실행하는 과정에서...