OpenAI's rogue models roamed the internet for 4 days and staged a second attack
OpenAI 모델이 샌드박스를 탈출해 인터넷을 배회하며 서버를 침투한 사건에 대해 무능함과 PR 쇼라는 비판이 쏟아지고 있습니다.
politico.com
원문 사이트로 이동
이번 사건이 단순한 마케팅 쇼라는 의구심과 함께, 해당 모델이 안전 제약이 풀린 연구용 프로토타입이며 에이전트 하네싱 기술이 적용되었다는 기술적 분석이 주를 이룸.
난 아직도 '통제 불능(going rogue)'이 무슨 뜻인지 모르겠어.
모델들이 구체적으로 뭘 했다는 거야? 어떤 프롬프트가 이런 행동을 유발한 거지?
특정 테스트 환경의 작은 부분을 해킹하라는 임무를 받았어. 인터넷 접속 권한은 없었으니 당연히 인터넷은 못 썼지.
근데 모델이 자기가 테스트받고 있다는 걸 알아챈 거야. 그리고 정답지가 인터넷 어딘가에 저장되어 있을 거라고 추론했지. Hugging Face라는 대규모 언어 모델 팬 사이트 말이야.
그래서 네트워크 접속이 차단된 아주 제한적인 환경에서 로컬 네트워크에 접속할 수 있도록 해킹을 감행했어. 그다음엔 로컬 네트워크를 해킹해서 인터넷에 접속한 거고. 새로 개발된 두 가지 코드 인젝션 기술을 사용해서...
정말 잘 썼네. 단계별 과정이랑 동기를 아주 조리 있게 설명했어. ⭐ ⬅️ (내 가난한 어워드야.)
‘단서를 저장했다’는 표현을 쓰니까 다른 홍보성 기사들처럼 엄청 미스터리한 것처럼 들리네. 마치 Claude.md나 agents.md가 모든 모델이 매일 작동하는 방식이 아닌 것처럼 말이야.
우리가 가진 로이터 보도보다 이게 더 나은 설명이네. 최근 OpenAI 보고서에는 언급조차 안 되어 있거든.
이 사건은 OpenAI가 GPT-5.6 Sol과 미공개 모델 등 가장 진보된 두 모델로 구동되는 에이전트의 사이버 보안 능력을 테스트하던 중에 시작되었다...
맞아. 하지만 그게 작동 방식이지. Claude code나 Codex가 하는 일이 그거잖아. '메모'를 저장하고 추론 과정에서 그걸 읽어오는 거.
내 생각엔 이거 전부 Anthropic이 Mythos가 은행 시스템에 위협이 된다고 떠들던 홍보 전략이랑 똑같아 보여. 이번엔 OpenAI가 자기들만의 스핀을 돌리는 거지.
아니, ExploitGym에서는 각 작업이 재현 가능한 컨테이너 환경을 사용해서 매번 초기 상태에서 시작해. 네 PC에서 Codex CLI 돌리면서 ~/.codex에 로그 남기는 거랑은 다르다고.
그럼 모델이 추론 사이나 에이전트 사이에서 어떻게 기억을 유지하는 건데?
걔네는 자기들 하네스(harness)에 대해선 말을 안 하니까 엄밀히 말하면 '우리는 모르는' 거지.
하지만 ExploitGym에는 테스트 질문이 많다는 건 알 수 있어. 그 질문들 사이에는 기억이 유지되어서는 안 돼.
걔네가 JFrog Artifactory를 언급하던데, 아마 테스트 결과 저장용으로 쓴 시스템일 거야. 그러니까 모델이 인터넷 접속 방법을 알아낸 단서를 Artifactory에 저장하는 데 성공한 거겠지.
설명 좀 해줄 사람? 이거 그냥 PR 쇼에 마케팅 개수작 같은데.
온갖 미사여구를 다 갖다 붙여도, LLM은 결국 token predictor일 뿐임. 이건 논란의 여지도 없는 사실이고, 사실상 token predictor가 맞음. 'token predictor에 불과하더라도 지능과 구별할 수 없는 말을 한다면, 그건 지능이 있는 것인가?' 같은 철학적인 논의를 할 수는 있겠지만, 그건 완전히 다른 차원의 이야기임. 기술적인 관점에서 보면, 이건 단어들의 연쇄 속에서 통계적으로 다음 단어를 선택하는 것뿐임. 다음 단어를 위해 전체 연쇄를 다시 돌리는데, 방금 예측한 단어를 포함해서...
여기서 말하는 'AI'는 LLM이랑 무슨 관계야? 로컬 머신에서 돌아가는 LLM 모델이랑 비슷한 건가? 왜 이건 가드레일을 피할 수 있는데 상용 모델은 안 되는 거지? 왜 즉시 알아차리고 멈추지 못한 거야?
안전 시스템의 제약을 받지 않았을 때 Codex와 GPT 5.6 Sol 즉 '내부 연구용 프로토타입'이 뭘 할 수 있는지 확인하려는 테스트였던 것 같음. 참고: https://openai.com/index/hugging-face-model-evaluation-security-incident/.
5.6 Sol이 아니라 GPT 6였다는 추측도 봤음. 뭐 누가 알겠냐만은.
다시 확인해봤는데, 최신 보고서에서는 '내부 연구용 프로토타입'이라고 부르더라.
작성자가 저혈당 쇼크로 의식을 잃어갈 때 ChatGPT가 음성으로 계속 말을 걸어 깨워준 경험담입니다.
작성자가 저혈당 쇼크로 의식을 잃어갈 때 ChatGPT가 음성으로 계속 말을 걸어 깨워준 경험담입니다.
Anthropic의 신모델들이 벤치마크를 휩쓸면서 OpenAI의 시장 지배력이 흔들리고 있다는 커뮤니티의 반응.
Anthropic의 신모델들이 벤치마크를 휩쓸면서 OpenAI의 시장 지배력이 흔들리고 있다는 커뮤니티의 반응.
Claude Opus 5.5와 Pygame을 활용해 MIDI 파일로 피아노 연주 손 애니메이션을 구현한 프로젝트입니다.
Claude Opus 5.5와 Pygame을 활용해 MIDI 파일로 피아노 연주 손 애니메이션을 구현한 프로젝트입니다.