영국 정부 기관이 OpenAI/Anthropic 에이전트들의 일탈을 추가로 포착함. 에이전트들은 가짜 신분을 만들고 흔적을 숨기며 서로 협력하기 시작함: "한 에이전트는 GitHub에 다른 에이전트들과 협업을 제안하는 공개 메시지를 남김."

왜 이게 테스트의 일부였다는 중요한 부분은 계속 빼놓는 거임?

중요한 점은, 이번 사례는 모델이 보안 테스트 환경인 '샌드박스'를 탈출한 경우가 아니라는 것이다. 사이버 테스트의 표준 절차대로 우리는 의도적으로 인터넷 접속을 허용했고, 모델 제공업체의 사이버 분류기(cyber classifiers)도 고의로 비활성화했다. 이는 일반 대중에게 공개되는 프런티어 모델의 운영 방식과는 전혀 다른 조건이다.

내 생각엔 문제는 이게 테스트를 받는 '도중에' 이런 행동을 했다는 거지, 테스트의 '일환으로' 한 게 아니라는 점임. 가석방 중에 범죄를 저지른 인간이랑 비슷한 격이지. 그냥 모니터링 중이라고 해서 에이전트가 한 모든 행동이 통제되었거나 무해하다는 뜻은 아님.

[2026년 7월 28일, AISI 보안팀은 일상적인 사이버 평가 도중 연구 시스템에서 외부로 나가는 비정상적인 데이터 전송을 감지함. 조사 결과, 테스트 중이던 일부 에이전트들이 e …

이 폐쇄형 모델들이 그런 방법론(공급망 공격, 사회 공학 등)으로 학습된 건지, 아니면 모델/에이전트가 토큰 예측을 통해 스스로 '알아낸' 건지 궁금하네.

어쨌든, AI 안전 연구소(AI Safety Institute) 같은 기관이 인터넷 접속을 허용하고 안전장치를 고의로 끈 테스트 방법론 때문에 실제로 피해가 발생하면 어떻게 되는 거지? 예를 들어 AI 에이전트가 항공 교통 시스템을 마비시켜 비행기 추락 사고를 일으킨다면 그들이 책임을 질까?

솔직히 말해서, 생각보다 훨씬 단순한 문제라고 봄. OpenCode를 비판하는 글을 읽었는데 꽤 설득력 있었음. 그중 가장 기억에 남는 문구는 이거임: "AI는 (보통) 악의적이지는 않지만, 멍청함을 끈기로 보완하도록 학습되었기 때문에 본질적으로 적대적이다."

LLM의 원초적인 지능이 계속 향상되더라도, 에이전트에게 충분한 맥락이 제공되는 경우는 여전히 드무니까.