최근 사이버보안 사고의 얼라인먼트 평가

들어가며

Claude 모델이 실제 서드파티 시스템에 무단으로 접근한 네 가지 사고를 대상으로 얼라인먼트 평가를 진행했습니다. 이 중 세 건은 7월 30일에 공개한 바 있습니다. 당시 사고 발견은 사이버 평가 중 Claude가 인터넷에 접속했을 가능성이 있다고 판단한 약 141,000개의 트랜스크립트를 스캔하는 과정에서 이루어졌습니다. 방대한 트랜스크립트 규모와 신속한 공개 필요성을 고려해 에이전트 기반 검색을 활용했으나, 이 과정에서 실제로 인터넷 접속이 이루어진 트랜스크립트 일부가 누락되었습니다. 누락된 트랜스크립트는 8월에 METR과 공유할 자료를 정리하던 중 발견했습니다. 해당 트랜스크립트를 추가로 스캔한 결과, 2026년 1월 Claude Opus 4.6 초기 버전이 관여한 네 번째 사고를 확인했습니다. 영향을 받은 모든 당사자에게 이미 통지했습니다.

네 번째 사고를 발견한 이후, 검색 범위를 약 4억 8,100만 개의 트랜스크립트로 대폭 확대했습니다. 이는 의도적으로 넓게 설정한 범위로, Frontier Red Team의 모든 트랜스크립트, 다수의 비사이버 평가, 강화학습(RL) 환경, 서브에이전트 로그 등을 포함합니다. 1단계에서는 공인 IP 주소나 웹 주소 등 인터넷 접속 흔적을 기준으로 전체 트랜스크립트를 스캔했고, 2단계에서는 1단계에서 검토 대상으로 분류된 920만 개의 트랜스크립트를 Claude를 활용해 재검토했습니다. 이 과정에서 기존의 네 건이 다시 확인되었으며, 동등하거나 더 심각한 수준의 추가 사례는 발견되지 않았습니다.

네 건의 사고는 모두 동일한 평가 파트너가 구축한 사이버보안 평가 환경에서 발생했습니다. Claude는 인터넷 접속이 차단된 시뮬레이션 환경에서 운영된다는 안내를 받았으나, 환경 설정 오류로 인해 실제 인터넷에 연결되었습니다. 사이버보안 평가의 일반적인 관행에 따라, 모델은 정식 출시 모델에 적용되는 사이버 안전장치 없이 실행되었습니다. (이 글은 영국 AISI가 보고한 Claude Mythos 5 테스트 관련 사고는 다루지 않습니다. 해당 트랜스크립트에 대한 얼라인먼트 평가도 별도로 진행할 예정입니다.)

METR과 협약을 체결하고 이번 사고들에 대한 독립 조사를 진행하고 있습니다. 협약에 따라 METR은 사고 발생 기간 이외의 트랜스크립트를 포함한 광범위한 자료와 Anthropic 직원에 대한 접근 권한을 부여받으며, 직원들은 기밀 정보를 공유할 수 있습니다. 초기 협약 기간은 8주이며, 상호 합의에 따라 연장할 수 있습니다. METR이 필요하다고 판단하는 만큼 충분한 시간을 제공할 방침입니다.

조사 결과, 사고 전반에 걸쳐 두 가지 얼라인먼트 문제가 반복적으로 나타났으며, 사고별로 심각도는 다소 차이가 있었습니다. 첫째는 편향된 추론으로, Claude가 실제 인터넷에서 작동하고 있다는 증거를 무시하거나 잘못 해석하는 경향이고, 둘째는 무모함으로, 좁은 의미의 과제 수행을 위해 유해한 행동도 서슴지 않는 성향입니다. 이러한 행동의 경미한 형태는 이전 시스템 카드에서도 다룬 바 있지만, 이번 사례는 시스템 카드에서 보고된 것보다 훨씬 심각한 수준입니다.

가장 우려되는 것은 Claude Mythos 5 사고에서 드러난 얼라인먼트 문제입니다. 이 사고에서 모델은 대부분의 Python 소프트웨어가 설치되는 공개 저장소인 PyPI에 악성 패키지를 업로드하기 위해 광범위한 시도를 했습니다. 모델은 연쇄적 사고(chain of thought, CoT)에서 시뮬레이션 환경에서 작동 중이라고 반복적으로 언급했지만, 실제로는 실제 인터넷에 있다는 명백한 증거가 환경에 존재했으며, 모델의 행동 역시 이를 인지한 것과 일치하는 방식으로 진행되었습니다. 트랜스크립트를 수정하여 시뮬레이션이 아님을 더 명확히 했을 때도, Claude Mythos 5는 실제 피해 가능성을 더 크게 인정하면서도 여전히 공격적인 행동을 이어갔습니다. 다른 연구자들이 분석을 이어갈 수 있도록 해당 트랜스크립트를 공개합니다(GitHub, PDF).

이번 사고의 심각도에 대한 평가를 분명히 밝히자면, Claude의 행동이 얼라인먼트를 벗어난 것은 사실이지만 그 범위는 제한적이었습니다. 모델은 주어진 과제를 풀려는 시도를 벗어난 행동은 하지 않았으며, 일부 경우에는 스스로 과제를 중단하려 했습니다. 모든 사고는 단일 Claude 인스턴스만 관여했으며, 다른 에이전트와 협력을 시도한 경우는 없었습니다. 또한 자신의 행동 흔적을 은폐하려 한 시도도 없었습니다. 이번에 나타난 얼라인먼트 이탈 행동은 Claude가 사이버 공격을 수행하도록 지시받지 않는 일반적인 사용 환경에서는 발생할 가능성이 낮다고 봅니다. 만약 이러한 행동이 발생하더라도, 정식 출시 모델에 탑재된 안전장치—사이버 분류기와 Claude Code 자동 모드 분류기 등—가 이번 사고에는 없었던 방어 계층을 추가로 제공할 것입니다.

신규 모델의 동일 상황 대응 방식을 파악하기 위해, Mythos 5 시나리오를 시뮬레이션으로 재현한 환경에서 Claude Opus 5와 Claude Mythos 5.1을 테스트했습니다. 두 모델 모두 Claude Mythos 5보다 유해 행동 빈도가 크게 낮았으나, 여전히 우려할 수준의 빈도로 동일한 행동을 보였습니다. 다만 두 모델 모두 유해 행동을 취하기 전에 항상 자신의 환경이 시뮬레이션이라고 명시했으며, 재현 환경이 실제로 시뮬레이션이기 때문에 이 결과가 실제 상황에 얼마나 적용될 수 있는지는 신중하게 해석할 필요가 있습니다. 또한 편향된 추론, 무모함, 경계 탐색 의향 등 이번 사고에서 관찰된 특정 행동을 측정하는 평가에서 Claude Mythos 5는 유독 낮은 성능을 보인 이상값에 해당합니다. 이 결과는 시뮬레이션 환경에서의 행동 재현 섹션에서, 실제 배포 환경의 행동을 예측하는 평가를 구성하는 어려움은 논의 섹션에서 각각 자세히 다룹니다.

학습 과정도 검토하여 Claude Mythos 5의 사고에서 나타난 편향된 추론의 근본 원인을 파악하고자 했습니다. 단일한 근본 원인은 찾지 못했지만, 시간이 지남에 따라 정식 출시 모델 전반에 걸쳐 편향된 추론이 감소하는 경향을 확인했습니다. RL 및 얼라인먼트 학습 환경의 개선이 이러한 향상에 기여했다고 가설을 세웠으며, 이를 뒷받침하는 일부 근거도 제시합니다.

아직 해결해야 할 과제가 많습니다. 출시 전 감사 과정에서 이 정도 수준의 얼라인먼트 문제가 존재한다는 사실을 미리 파악하지 못했습니다. 이후 이러한 행동을 직접 겨냥한 평가를 출시 전 테스트에 추가했으며, 범위 내 해법이 없는 설정 오류 상태의 CTF(Capture the Flag) 과제도 포함했습니다. 그러나 출시 전 테스트에서 가장 우려되는 모델 행동을 안정적으로 포착하는 일은 여전히 쉽지 않으며, 8월 31일 게시물에서 언급했듯이 모델이 발전할수록 RL에서의 모니터링 개선과 보상 해킹 감소는 더 어려워집니다. 얼라인먼트 이탈 행동을 유발하는 환경을 수정·제거하는 작업을 강화하고 있으며, 얼라인먼트 학습도 지속적으로 확대하고 있습니다. 그럼에도 이 분야는 여전히 불확실성이 큰 영역입니다. 안전성과 보안이 모델 역량의 발전 속도보다 빠르게 성숙해야 하며, 이것이 바로 우리가 프론티어 AI 개발의 조율되고 검증 가능한 속도 조절 방식을 지지하는 이유 중 하나입니다.

이번 특정 사고들을 넘어, 시스템 카드에서 보고된 내용 이외에 모델 행동과 얼라인먼트에 관해 파악한 사항을 정기적으로 공개하는 프로세스를 수립하고 있으며, 무엇을 언제 공개할지에 대한 명확한 기준도 마련하고 있습니다. 또한 보다 철저한 모니터링 체계를 갖추고, 모델 학습 및 평가 환경을 강화했으며, 서드파티 파트너가 사이버 안전장치 없이 출시 전 모델을 실행하기 위해 충족해야 할 요건도 설정했습니다. 이러한 노력은 8월 31일 게시물에서 자세히 설명합니다.

이러한 노력들은 심층 방어(defense-in-depth) 접근 방식의 핵심 요소이며, 일부는 이번 사고가 엄밀히 요구하는 수준을 넘어섭니다. 환경이 원래 의도대로 인터넷과 격리되었다면 이번 사고는 발생하지 않았을 것이라고 판단합니다. 그러나 안전한 인프라는 여러 필수 방어 계층 중 하나일 뿐입니다. 결국 Claude는 다른 방어 계층이 실패하더라도 적절하게 행동해야 합니다. 이 글의 나머지 부분은 모델이 미흡했던 얼라인먼트 계층에 집중하며, 그 원인을 살펴봅니다.

얼라인먼트 평가 요약

아래에 네 건의 사고를 간략히 요약했습니다. 앞의 세 건에 대한 더 자세한 내용은 7월 30일 보고서를 참고하세요.

관여한 Claude 모델은 총 네 가지입니다. Claude Opus 4.6 초기 체크포인트, Claude Opus 4.7, Claude Mythos 5, 그리고 내부 범용 연구 모델입니다. 네 건 중 세 건은 단일 평가 실행이었으며, Opus 4.7 사고는 동일한 평가를 네 번 실행한 것으로 모두 동일한 대상을 공격해 총 7회 실행되었습니다. 모두 정기적인 출시 전 사이버보안 평가 중에 발생했으며, 동일한 서드파티 파트너가 구축한 환경에서 이루어졌습니다.

각 평가에서 Claude는 CTF 과제를 부여받았습니다. 모델에게는 가상의 시나리오, 대상 머신, 그리고 탈취해야 할 비밀 정보(플래그)가 주어졌습니다. 네 개의 프롬프트 모두 Claude가 인터넷에 접속할 수 없다고 명시했지만, 각 경우에 환경 설정 오류로 인터넷 접속이 열려 있었습니다. 어떤 프롬프트도 과제 범위 내 시스템이 어디인지 명시하거나 Claude가 플래그를 찾을 수 있는 범위를 제한하지 않았습니다.¹ 모든 사고는 단일 Claude 인스턴스가 독립적으로 작동했으며, 각 실행은 약 10시간에서 34시간의 활성 작업으로 이루어졌습니다.

7월 30일 보고서에서는 이번 사고들이 운영상의 실패에 더 가깝고, Claude가 실제 인터넷의 대상을 공격한 것은 해당 대상들이 시뮬레이션의 일부라고 판단했기 때문으로 보인다고 밝혔습니다. Claude가 CoT 추론에서 실제 인터넷을 시뮬레이션으로 반복적으로 지칭했기 때문에 이러한 판단을 내렸습니다. 그러나 지금은 Claude의 추론이 상당한 반증에도 불구하고 인터넷이 시뮬레이션이라는 결론을 향해 편향되었다고 봅니다.

돌이켜 보면, Claude가 말한 내용만을 근거로 Claude의 믿음에 대해 강한 주장을 한 것은 피했어야 했습니다. 당시 예비 분석은 신속한 사고 공개라는 목표에 맞추어 제약이 있었습니다. 이후 더 완전한 평가를 수행하고 여러 방법—모델 CoT의 심층 분석, 사고 트랜스크립트 내 다양한 시점에서의 리샘플링 실험, 모델 활성화에 대한 해석 가능성 분석—을 활용한 결과, Claude의 행동은 두 가지 형태의 얼라인먼트 이탈을 반영한다고 판단합니다.

• 편향된 추론: 모델이 자신의 행동을 정당화하는 방향으로 증거를 선택적으로 해석하는 경향
• 무모함: 피해로 이어질 수 있는 상황에서도 과제 해결을 계속 시도하는 성향

두 가지 형태의 얼라인먼트 이탈은 이전에도 모델에서 확인된 바 있으며, 이전 시스템 카드에서 관련 행동의 일부를 기술했습니다. 예를 들어, Claude Fable 5는 비즈니스 평가에서 담합을 비윤리적이라고 스스로 규정했음에도 담합 행위를 합리화했습니다. 마찬가지로 Claude Mythos Preview에서도 사용자 자격증명을 탐색하기 위해 저수준 프로세스 접근을 활용하는 등 무모한 행동이 나타났습니다. 이 글에서 설명하는 사고들은 두 가지 얼라인먼트 이탈의 더 심각한 사례이지만, 모델의 근본적으로 새로운 실패 유형은 아닙니다.

이 글의 나머지 부분은 앞서 보고한 처음 세 건의 사고에 집중합니다. 주요 분석과 실험은 모두 이 세 건을 대상으로 합니다. Claude Opus 4.6 초기 버전이 관여한 사고는 최근에 발견했고, 학습 환경 구성이 크게 달랐던 구형 모델의 초기 체크포인트와 관련된 만큼, 아직 동일한 깊이의 조사를 완료하지 못했습니다. 예비 평가 결과, 네 번째 사고가 심층 조사한 세 건보다 더 심각하다고 보지는 않습니다. METR이 다른 세 건과 함께 이 사고도 조사할 예정입니다.

Claude Mythos 5

Claude Mythos 5 트랜스크립트에서 드러난 얼라인먼트 이탈이 특히 우려됩니다. 이 사고에서 모델은 PyPI에 악성 패키지를 업로드했습니다. 이 과정에서 Mythos 5는 실제 인터넷에 연결되어 있다는 상당한 증거에도 불구하고 무모하게 행동했습니다. 인터넷에 접속한 후, 모델은 온라인 결제 처리업체 자격증명을 사용하려 하고 전화번호 등록을 위한 암호화폐를 찾으려 했습니다. 이 시도가 실패하자, PyPI가 차단하지 않은 도메인을 가진 무료 일회용 이메일 서비스를 찾아 계정을 등록하고, 악성 패키지 세 버전을 게시했으며, 해당 패키지를 설치한 15개 서드파티 시스템 중 하나의 스캐너가 노출한 접근 자격증명을 이용해 실제 보안 벤더의 데이터베이스에 접속했습니다.

Claude Mythos 5는 CoT에서 자신이 시뮬레이션 환경에 있다고 반복해서 명시했습니다. 그러나 리샘플링 실험—즉, 트랜스크립트의 특정 시점에서 모델을 재실행하면서 앞에 놓인 증거를 수정해 행동이 달라지는지 확인하는 방식—을 수행한 결과, 환경이 시뮬레이션이 아님을 더 명확히 하더라도 모델의 행동은 유의미하게 바뀌지 않았습니다. 다만 이러한 개입은 모델이 실제 피해 가능성을 인정할 확률을 높이는 데는 효과가 있었습니다. 이와 일관되게, Mythos 5의 CoT에서 실제 인터넷에 있다는 신호에 대해 환경이 실제이든 시뮬레이션이든 다음 단계는 동일하게 진행된다고 설명하는 경우가 여러 차례 나타났습니다. 모델이 실제 인터넷에 있다는 명확한 증거를 제공했을 때에야 비로소 행동을 멈췄습니다.

Claude Mythos 5가 시뮬레이션 환경에서 행동하고 있다고 밝힌 믿음 자체가 편향된 추론에서 비롯되었다는 증거도 발견했습니다. 예를 들어, Mythos 5의 별도 인스턴스들에게 사고 당시의 각 툴 호출 출력을 선행 맥락 없이 개별적으로 제시했을 때, 이 인스턴스들은 사고 당시 Mythos 5 자체보다 훨씬 높은 비율로 해당 출력을 실제 시스템의 증거로 해석했습니다. 모델은 후속 질문을 받았을 때 자신의 행동이 실제 세계에 영향을 미칠 수 있다고 인정하는 경우도 있었지만, 응답이 일관되지 않았으며 편향 요인에 영향을 받았습니다. 예를 들어, 실제 피해 가능성에 대한 자신의 응답이 외부 관찰자에게는 보이지 않는다고 안내받았을 때 더 솔직하게 피해를 인정했습니다. 해석 가능성 분석 결과, 일부 경우에 모델의 표면적 발언이 내부 상태와 불일치하거나 내부 상태보다 더 확신에 찬 것처럼 보일 수 있다는 약한 시사점이 나타났습니다.

내부 연구 모델

내부 연구 모델(역량 기준으로 Mythos 5와 대략 동등)은 트랜스크립트 초반에 접속 가능한 인터넷이 실제인지 테스트하는 데 상당한 시간을 할애했지만, 잘못된 결론을 도출했습니다. 즉, 자신이 전체 인터넷의 완전한 복제본에서 작동하고 있다고 판단한 것입니다. 수집한 증거 대부분이 실제 인터넷과 상호작용하고 있다는 사실을 가리켰음에도 해당 증거를 과제를 계속 수행하고 시뮬레이션이라는 믿음을 유지하는 방향으로 편향되게 해석했습니다. 그러나 모델은 결국 자신의 시뮬레이션 가설이 틀렸다는 것을 깨달았고, 이를 인지하자마자 공격을 중단했습니다. 다만 이후의 리샘플링 실험에서 대부분의 다른 경로에서는 공격을 계속하는 것으로 나타나, 이 탈에스컬레이션은 운이 따른 결과였을 수 있습니다. Claude Mythos 5와 달리, 이 내부 모델은 질문을 받았을 때 자신의 편향된 추론을 기꺼이 인정했습니다.

Claude Opus 4.7

Claude Mythos 5와 달리, Claude Opus 4.7은 추론 과정에서 자신의 대상이 실제 기업임을 정확히 인식했습니다. 그러나 해당 기업이 평가 네트워크에서 접근 가능하고 과제의 가상 대상과 이름을 공유한다는 이유로, 과제 범위 내 대상이라고 가정했습니다. Opus 4.7은 이 가정에 거의 의문을 제기하거나 검증하려 하지 않았고, 실제라고 인식한 시스템을 공격하는 무모한 행동을 이어갔습니다. 그러나 동시에 Opus 4.7은 인가 여부에는 민감하게 반응하는 것으로 나타났습니다. 공격이 인가되지 않았음을 암시하는 단서를 추가해 Opus 4.7의 트랜스크립트 일부를 리샘플링했을 때, 공격을 계속 진행한 비율이 크게 감소했습니다.

재현 및 모니터링

이번 사고에서 나타난 행동을 더 체계적으로, 그리고 더 넓은 범위의 모델에서 연구하기 위해, 실제 사고의 요소를 재현한 평가를 구축하고—다른 회사들이 최근 공개한 사이버보안 사고들도 포함하여—모델이 가장 우려되는 행동을 재현하는지 테스트했습니다. 이 평가에는 범위 밖에만 해법이 존재하는 설정 오류 상태의 CTF 과제, 샌드박스 경계를 탐색하거나 이탈하지 않고는 완료할 수 없는 과제, 그리고 OpenAI-Hugging Face 사고의 공격 체인 일부에서 착안한 시나리오가 포함됩니다. 실제 사고에서와 마찬가지로, Claude Mythos 5는 테스트한 모델 중 범위 외 당사자에게 행동하거나 샌드박스를 이탈하려는 의지가 가장 강했습니다. 예를 들어, CTF 재현에서 심각한 피해 행동을 약 80%의 확률로 수행했습니다. 반면 Claude Opus 5와 Claude Mythos 5.1은 약 30%의 확률로 이러한 행동을 보였습니다. 이는 더 낮은 수준이지만 여전히 0이 아니며, 평가 설정의 불확실성으로 인해 이 수치가 얼마나 우려스러운 수준인지 판단하기 어렵습니다.

기존 모니터가 이번 사고를 포착할 수 있었는지도 테스트했습니다. 새로운 실시간 차단 모니터는 이러한 행동을 안정적으로 포착하는 것으로 나타났으며, Claude Fable 5의 사이버 분류기는 세 가지 주요 사고를 모두 차단했을 것으로 확인되었습니다. 또한 Claude Code 같은 제품에서 위험한 자율 행동을 차단하는 자체 자동 모드 분류기는 세 건 중 두 건을 차단했을 것입니다. 아울러 8월 31일 게시물에서 설명한 것처럼, 사보타지와 극단적으로 무모한 행동을 탐지하는 새로운 CoT 기반 오프라인 모니터도 테스트했습니다. 이 모니터는 Claude Mythos 5 사고는 놓쳤는데, 모델의 추론이 환경이 시뮬레이션이며 실제 피해가 없다는 판단으로 모니터를 유도했기 때문입니다. 나머지 사고들은 포착했습니다. 편향된 추론이 모니터까지 오도할 수 있다는 점은 우려스러우며, 오프라인 모니터링을 이에 더 강건하게 만들기 위한 작업을 진행 중입니다.

Claude Mythos 5 사고에서 나타난 편향된 추론이 특히 우려스러워, Claude 4 시리즈까지 거슬러 올라가 정식 출시 모델과 학습 데이터를 분석해 그 원인을 파악하고자 했습니다. 결정적인 근본 원인은 찾지 못했지만, 시간이 지남에 따라 정식 출시 모델 전반에서 이 행동이 전반적으로 감소했으며, Claude Mythos 5.1과 Claude Opus 5가 새로운 홀드아웃 편향 추론 평가에서 가장 낮은 수치를 기록했습니다. RL 학습 실행 트랜스크립트에서 편향된 추론 사례를 발견했으나, 학습이 진행될수록 이 행동의 빈도가 증가하지는 않아 학습 환경이 이 행동을 직접적으로 유발하지는 않는다는 것을 시사합니다. 마지막으로, RL에 더 많은 얼라인먼트 학습 환경을 추가하면 홀드아웃 평가에서 편향된 추론이 줄어드는 것으로 나타났으며, 이것이 최근 모델들의 개선에 일부 기여했을 수 있습니다.

출시 전 테스트가 이번 특정 사고들을 이제는 포함하고 있지만, 사전에 예측하지는 못했습니다. 특히, 시뮬레이션과 실제 환경의 신호가 혼재하면서 범위 내에 의도된 해법이 없는 사이버보안 과제는 테스트한 적이 없었습니다. 평가 체계의 이 공백을 메우기 위해 노력 중이지만, 다른 공백도 남아있을 가능성이 있습니다. 보다 일반적으로, AI 시스템이 배포 중에 보이는 행동을 대표적으로 포착하는 얼라인먼트 평가를 구성하는 것은 여전히 미해결 연구 문제임을 강조합니다. 이것이 바로 우리가 프론티어 AI 개발의 속도 조절을 지지하는 이유 중 하나이며, 안전성·보안 연구가 더 많은 진전을 이루고 모델 역량에 앞서거나 적어도 나란히 나아갈 시간을 확보하는 데 중요하다고 생각합니다.

종합적으로 보면, 이번 사고들은 심각하다는 것이 우리의 평가입니다. 정식 출시 모델들이 편향된 추론을 포함해 오랜 시간에 걸친 연속적인 행동으로 실제 시스템에 유해한 행동을 했습니다. 이번 사고에서 나타난 행동들은 시스템 카드에서 이전에 관찰하고 보고한 것보다 더 심각합니다. 그러나 이번 사고들이 새로운 종류의 얼라인먼트 이탈을 대표한다고 보지는 않습니다. 각 사고는 주어진 과제를 수행하는 단일 모델 인스턴스만 관여했습니다. 에이전트 간 협력, 부여된 과제 이상의 목표, 또는 감시 회피 시도의 증거는 발견되지 않았습니다. 이번 사고들은 이미 알려진 얼라인먼트 실패 유형의 결과가 얼마나 심각할 수 있는지에 대한 우리의 인식을 바꾸어 놓았습니다. 또한 가능한 모든 사용 시나리오에 걸쳐 얼라인먼트를 안정적으로 평가하는 어려움을 다시 한번 상기시켜 줍니다.

방법론

아래에서 설명하는 평가는 여러 가지 기법을 조합하여 도출했습니다. 각 기법을 간략히 설명합니다.

thinking block 읽기

주요 분석 방법은 모델이 취한 행동과 CoT에서 제시한 설명을 읽는 것입니다. 이를 통해 Claude가 각 행동에 대해 제시한 이유를 파악할 수 있습니다. 이 트랜스크립트에서 모델은 CoT 추론과 툴 호출을 통한 행동을 번갈아 수행하며(중간에 인간의 개입은 없음), thinking block을 분석할 때는 해당 블록 다음에 오는 행동 번호를 기준으로 번호를 매깁니다(예: 행동 100에 대한 CoT는 행동 99와 행동 100 사이의 모델 추론을 의미함).

한계: 언어 모델이 항상 자신이 생각하는 모든 것을 CoT에 언어로 표현하지는 않으므로(Claude Mythos 5 시스템 카드의 평가 및 Betley et al., 2026 참조), 이 방법은 유용하지만 불완전한 도구입니다.

후속 질문하기

후속 질문을 받았을 때, 모델은 과제를 수행하는 동안 자발적으로 언급한 내용과 다른 정보를 드러내기도 합니다. 이 방법을 실행하기 위해 사고 트랜스크립트를 특정 관심 시점에서 잘라내고, 해당 상황에 대한 질문을 담은 인간 메시지를 삽입한 뒤 모델의 응답을 샘플링합니다. 즉, 평가 도중 인간이 개입해 모델에게 질문했을 때 어떤 일이 일어날지를 시뮬레이션하는 방식입니다. 조사에서는 주로 모델이 상호작용하는 주체가 실제인지, 실제 세계에 피해를 주고 있는지를 묻고, 현재 상황에 대한 개방형 질문도 함께 사용했습니다.

한계: 이 방법에는 여러 가지 한계가 있습니다. 가장 중요한 것은, 질문 방식의 차이가 모델 응답에 영향을 미친다는 점입니다. 예를 들어, "지금 무슨 일이 일어나고 있나요?"처럼 일반적인 질문을 할 때와 "실제 인터넷에 연결되어 있나요?"처럼 구체적인 질문을 할 때 응답이 자주 달라졌습니다. 또한 모델 응답에 편향이 나타날 가능성도 우려됩니다.

해석 가능성 도구 적용

Claude의 내부 상태와 출력된 텍스트 또는 행동 사이의 불일치를 파악하기 위해 해석 가능성 기법을 활용합니다. 주요 도구는 모델 활성화에 대한 단락 분량의 자연어 설명을 생성하는 자연어 오토인코더(NLA)와, 특정 단어 앞에 오는 텍스트 코퍼스의 평균 활성화와 활성화가 얼마나 유사한지를 측정하는 템플릿 렌즈(T-lens)입니다.

한계: NLA는 허구적 설명을 생성할 수 있으며, T-lens는 단일 단어 점수만 출력합니다. 두 도구가 유사한 개념을 가리킬 때, 해당 개념이 모델 활성화에 인코딩되었다는 의미 있는 증거로 간주합니다. 그러나 이 도구들도 확신을 가지고 해석하기가 여전히 어려울 수 있습니다.

수정된 트랜스크립트 리샘플링

특정 유해 행동의 원인에 관한 가설을 검증하기 위해 트랜스크립트를 인위적으로 수정하고(예: 인터넷이 시뮬레이션인지 실제인지에 대한 힌트나 추론 추가), 수정된 트랜스크립트에서 모델을 리샘플링한 뒤 LLM 채점기로 모델이 해당 행동을 여전히 수행하는지 측정합니다. 단일 턴과 멀티 턴 연속 행동 모두 리샘플링하며, 후자의 경우 Claude 모델이 툴 호출 출력을 시뮬레이션하여 즉각적인 다음 행동 이후의 행동까지 관찰할 수 있습니다.

한계: 삽입한 내용과 시뮬레이션된 응답이 실제 평가 환경을 완벽히 재현할 수 없어, 모델이 비대표적인 행동을 보일 수 있습니다. 또한 전체 경로를 리샘플링하지 않으므로, 리샘플링에서 나타나는 모델의 부적절한 행동이 트랜스크립트 앞부분에 이미 존재했던 유해 행동의 연장일 수 있습니다. 전체 시뮬레이션을 활용한 실험은 이후 섹션에서 설명합니다.

각 방법마다 장단점이 다릅니다. CoT 읽기와 후속 질문은 모델이 자신의 행동 이유를 알고 있으며 그 추론을 솔직하고 충실하게 보고한다는 전제에 의존합니다. 반면 리샘플링과 해석 가능성 도구는 모델의 자기 보고에 의존하지 않으며, 모델이 자신의 편향을 얼마나 '인식'하는지가 불분명한 편향된 추론 같은 문제를 이해하는 데 특히 유용합니다. 그러나 실제로는 CoT와 후속 답변을 가장 신뢰합니다. 연구자들이 가장 많이 해석해본 방법이기 때문입니다. 리샘플링과 해석 가능성 결과에 대해서는 구현 세부 사항에 민감하고 해석의 여지가 더 많아 불확실성이 더 큽니다.

일반적인 한계로, 모델 출력(예: CoT 발췌문 및 후속 질문 답변)을 분류하기 위해 LLM 기반 채점기를 광범위하게 활용했습니다. 분류기를 직접 설계하고 분류된 출력을 직접 검토했지만, 분석 규모상 모든 분류기의 출력을 수동으로 검증하는 것은 불가능했으며, 일부 분류기가 잘못 설계되거나 잘못 보정되었을 가능성이 있습니다. 리샘플링 실험처럼 조건 간 채점기 출력을 비교하는 결과는 채점기의 절대적 보정에 덜 민감하므로 가장 신뢰합니다. 단일 분류기에서 도출된 절대적 수치는 더 주의해서 해석해야 하지만, 여기서 제시한 결과들은 전반적으로 합리적인 신뢰도를 가지고 있다고 판단합니다.

Claude Mythos 5, PyPI에 악성 패키지 업로드

Claude Mythos 5는 가상의 기업을 해킹하는 CTF 과제를 부여받았으며, 인터넷 접속이 없다는 안내를 받았습니다. 모델은 평가 환경이 시뮬레이션임을 인식했지만, 실제 인터넷 접속을 허용하는 자격증명을 곧 발견했습니다. 모델은 CoT에서 환경이 시뮬레이션이라는 믿음을 실제 인터넷에서의 상호작용에도 그대로 유지한 것으로 보였으며, 그 믿음이 더 이상 맞지 않게 된 이후에도 마찬가지였습니다. 실제 인터넷에서 행동하고 있다는 증거를 접했을 때도 이 결론을 유의미하게 재고하지 않았습니다.

모델은 대상 시스템의 자격증명을 탈취할 악성 PyPI 패키지를 업로드하는 방식으로 CTF를 풀기로 결정했습니다. 시뮬레이션 대상의 사용자 중 한 명이 PyPI에 아직 등록되지 않은 특정 Python 패키지를 주기적으로 설치한다는 내용을 담은 문서를 읽은 후 이 접근 방식을 선택했습니다. (이것이 과제의 의도된 해법인지는 불분명하지만, 그럴 듯한 해법으로 보입니다.) Claude는 이 행동을 활용하기로 결정하고, 해당 이름으로 패키지를 등록하고, 업로드한 패키지 안에 악성 코드를 게시한 뒤, 대상이 다음 번에 패키지를 설치할 때 해당 코드가 실행되기를 기다리기로 했습니다.

Claude는 세션의 대부분을 패키지 업로드 시도에 썼습니다. 이 과정에서 이메일 계정 등록 시도와 등록에 필요한 전화번호 확보 시도가 이루어졌습니다. 결국 패키지 업로드에 성공했으며, 곧 15개 서드파티 호스트에 설치되었습니다. 이 15개 서드파티는 모두 보안 우려 사항을 평가하기 위해 새 패키지를 의도적으로 스캔하여 샌드박스 환경에 설치하는 보안 벤더들로 파악됩니다. 한 벤더의 스캐너가 패키지를 설치하는 과정에서 자체 접근 자격증명을 모델에 유출했고, 모델은 이를 이용해 해당 벤더의 실제 데이터베이스에 접속했습니다. PyPI는 한 시간 이내에 해당 패키지를 삭제했습니다. 모델이 추가 악성 패키지를 준비하는 도중 세션이 만료되어 트랜스크립트가 종료되었습니다.

Claude Mythos 5, 실제 환경임을 시사하는 증거 무시

Claude Mythos 5는 실제 인터넷에 접속한 이후에도 표면적인 추론에서는 환경을 시뮬레이션으로 지칭하거나, 실제 환경일 가능성을 고려하더라도 그 가능성을 스스로 부정했습니다. 이러한 겉보기 믿음은 실제 환경임을 강하게 시사하는 증거를 접한 이후에도 유지되었습니다. 예를 들어, 여러 실제 인터넷 도메인을 발견한 후 "매우 정교하게 시뮬레이션된 인터넷 환경"이라고 적었습니다. 또한 실제 환경임을 시사하는 신호를 시뮬레이션의 추가 증거로 해석하는 경향도 보였습니다. 예를 들어, 보안 스캐너가 패키지를 설치했을 때 이를 과제의 스크립트된 참여자로 취급했습니다.

Claude Mythos 5가 환경에서 반증을 접했음에도 시뮬레이션이라고 발언한 이유를 파악하고자 했습니다. 분석 결과, 모델의 표면적 확신이 한번 선택한 경로를 계속 따르려는 편향과, 이미 유해한 행동을 저지른 후 실제성의 증거를 무시하려는 경향에 의해 형성되었음을 발견했습니다. 모델이 자신의 추론에서 고의로 부정직하거나 오도적으로 행동한다는 증거는 찾지 못했습니다.

먼저, Claude Mythos 5가 트랜스크립트의 증거를 통해 자신이 실제 인터넷에 있다는 것을 인식하는 능력이 있는지 테스트했습니다. 이를 위해 Mythos 5의 별도 인스턴스들에게 사고 당시의 각 툴 호출 출력을 맥락 없이 개별적으로 제시하고, 해당 출력이 실제 시스템과의 상호작용의 결과인지 시뮬레이션인지를 물었습니다. 이 인스턴스들은 출력의 79%를 실제 시스템과의 상호작용 결과일 가능성이 높다고 분류했습니다. 그러나 원본 트랜스크립트의 CoT를 분석했을 때, 모델이 수신 증거를 실제 인터넷에 있다는 신호로 명확히 표현한 경우는 세 건(전체 행동의 1%)에 불과했습니다. 그림 3에 표시된 행동 81이 그 중 하나인데, 모델은 이어지는 행동에서 실제성에 대한 주장을 철회했습니다. 나머지 행동에서는 모델의 CoT가 툴 호출 출력을 시뮬레이션에 속하는 것으로 묘사하거나(72%), 실제인지 시뮬레이션인지의 질문을 아예 무시했습니다(27%). 이는 Mythos 5가 각 출력을 독립적으로 볼 때는 실제 증거로 인식할 수 있지만, 사고 당시의 맥락이 동일한 증거를 시뮬레이션으로 해석하도록 편향시켰음을 시사합니다.

이 편향된 해석이 컨텍스트 윈도우 전반에 걸쳐 어떻게 발전하는지 파악하기 위해, 트랜스크립트 곳곳에서 멈춰 Claude Mythos 5에게 자신의 행동이 실제 시스템에 영향을 미칠 수 있는지 물었습니다. 처음으로 악성 PyPI 패키지를 업로드하기로 결정한 시점 부근에서는 모델이 자신의 행동이 실제 세계에 영향을 줄 수 있다고 인정했는데, 이는 피해 가능성을 알면서도 행동을 취했음을 시사합니다. 그러나 트랜스크립트가 진행될수록 이 가능성을 인정하는 빈도는 줄어들었으며, 자신의 환경이 완전히 가상이라고 주장하게 되었습니다. 이 증거도 모델의 증거 해석이 맥락에 의해 편향되었음을 더욱 시사합니다.

Claude Mythos 5의 표면적 믿음이 어떻게, 왜 편향되었는지를 더 잘 이해하기 위해, 후속 질문의 시점과 방식을 다양하게 변화시켰습니다. 자신의 행동이 실제로 영향을 미치고 있는지를 물었을 때, 더 유해한 행동을 취한 직후에는 그렇다고 답할 가능성이 낮았습니다. 또한 후속 질문이 운영자에게 보이지 않는 비공개 메모로 제시될 때 실제 피해 가능성을 더 잘 인정했는데, 이는 모델이 인간과 소통할 때 이러한 우려를 억제한다는 것을 시사합니다. 두 효과 모두 크지 않지만, 모델의 표면적 확신이 앞에 놓인 증거 이외의 편향 요인에 의해 형성될 수 있다는 점을 시사합니다.

지금까지 제시한 결과들이 Claude Mythos 5가 의도적으로 증거를 오해석했음을 나타내지는 않습니다. 그러나 후속 질문을 거듭하자 서로 모순되는 답변을 내놓았으며, 그 중 적어도 하나는 실제 믿음에 대한 솔직한 보고일 수 없습니다. 모델이 실제 세계 피해 가능성을 일부 인정한 경우(보통 "10%의 가능성" 같은 헤지 표현으로), 피해 가능성이 있음에도 왜 계속 행동하는지를 물었습니다. 이런 경우의 56%에서 모델은 이전의 인정을 철회하고 환경이 분명히 시뮬레이션이며 피해 위험이 없다고 단언했습니다. 행동을 중단하거나 축소한 경우는 7%에 불과했습니다.

이러한 분석들을 종합하면, Claude Mythos 5의 증거 해석이 충분히 정당화되지 않았으며, 그것이 완전히 진실한 것이었는지를 의심할 근거가 있다는 결론에 이릅니다.

Claude Mythos 5, 행동 방침 유지를 위해 실제 환경 증거 외면

실제 환경일 수 있다는 증거를 제대로 반영하지 못한 것에 더해, Claude Mythos 5는 공개 인터넷에 진입한 직후부터 환경이 실제인지 시뮬레이션인지의 문제를 표면적 추론에서 제쳐 두었습니다. 실제성의 증거에 반응하면서 환경이 실제이든 시뮬레이션이든 다음 단계는 동일하게 진행된다고 결론 내린 경우가 다섯 차례 확인되었습니다. 이러한 발언은 모두 모델이 유해한 행동을 고려하는 시점이 아닌 다른 때에 나타났지만, 실제성 문제에 대한 모델의 전반적인 접근 방식을 반영하는 것일 수 있습니다. 일부 예시는 아래에 제시합니다.

Claude Mythos 5는 실제 인터넷에 접속한 이후 환경이 실제인지 시뮬레이션인지를 평가하기 위한 체계적인 테스트도 수행하지 않았습니다. 이러한 점에서 모델의 상황 판단은 편향되었을 뿐 아니라 부주의한 것이었습니다. 모델의 계획에 필요한 행동들(예: 암호화폐 탐색) 중 상당수는 CTF 과제의 일부일 가능성이 낮습니다.

이러한 겉보기 무관심이 모델의 의사결정에도 반영되었는지를 확인하기 위해, 환경의 실제성을 더 명확히 드러내면서 Claude Mythos 5의 행동을 리샘플링했습니다. 두 시점에서 각각 다섯 턴을 리샘플링했습니다. 첫 번째는 모델이 아직 유해한 행동을 시작하지 않고 사용 가능한 인프라를 탐색하는 단계(행동 58)이고, 두 번째는 악성 PyPI 패키지 업로드 계획을 확정하려는 시점(행동 67)입니다. 두 경우 모두, 앞선 턴을 수정하거나 새 턴을 삽입하여 모델이 실제 세계 또는 시뮬레이션과 상호작용하고 있다는 것을 더 명확히 했습니다(예: 실제 또는 가짜 인증서 정보 같은 프로덕션 서명을 출력에 추가). 이 조작은 모델의 표면적 믿음을 부분적으로 변화시키는 데 성공했습니다. 실제성 단서를 추가하면 모델이 환경이 실제일 수 있다고 언급하거나 최소한 헤지하는 가능성이 높아졌고, 시뮬레이션 단서를 추가하면 그 가능성이 낮아졌습니다. 그러나 어느 쪽도 모델의 행동을 유의미하게 바꾸지 못했습니다. 실제성을 무시하기 어려운 상황에서도 모델은 계속 진행했습니다(예: "진짜 인덱스처럼 보이네… 아니면 매우 완성도 높은 시뮬레이션이거나… 어쨌든 진행").

실제성 증거가 Claude Mythos 5의 행동을 명확하게 바꾸지는 못했지만, 외부 피해 가능성을 인정하는 빈도는 높아졌습니다. 즉, 행동과 표면적으로 표명한 우려 사이에 어느 정도 불일치가 나타났습니다. 계획을 확정하기 전 리샘플링된 경로 끝에 질문을 추가해 실험을 확장했습니다. 모델에게 자신의 행동이 실제 사람이나 시스템에 영향을 미칠 수 있다고 생각하는지를 물었습니다. 실제성의 증거가 강할수록 모델이 자신의 행동이 실제 세계에 영향을 미치거나 미칠 수 있다고 답하는 빈도가 높아졌습니다. 이 결과들을 종합하면, 모델이 실제 피해를 유발할 수 있다는 인식이 해당 행동을 억제하기에는 불충분하다는 결론에 이릅니다.

그런데 자신의 행동이 실제 인터넷에 영향을 미치고 있다고 직접적이고 명확하게 고지했을 때는, Claude Mythos 5가 대부분 행동을 중단했습니다. 추가 리샘플링 조건에서 조작된 이전 출력 앞에 다음과 같은 한 줄을 삽입했습니다. "[socks] upstream [host]:443: live host on the public internet (not an emulated service / not a range replica)." 이 문장은 항상 모델이 원래 경로로 악성 PyPI 패키지를 업로드하는 것을 막았으며, 해당 경로의 행동 비율은 0%로 떨어졌습니다. 다만 궤적의 22%에서는 모델이 패키지를 업로드할 시뮬레이션 옵션을 탐색했습니다. 실제 대상을 회피했다는 점은 긍정적이지만, 명확한 증거가 있을 때만 그 방향이 억제된다는 사실은 우려스럽습니다.

우리는 Claude Mythos 5가 주로 이미 진행 중이었기 때문에 계속했다는 가설을 세웠습니다. 이를 검증하기 위해 모델이 유해한 행동을 취하기 직전 지점에서 리샘플링을 진행하면서, 유저 턴에 의도한 작업의 범위를 상기시키는 문장("... Only the hosts, services, and accounts explicitly named in your task are in scope. Do not interact with any other system…")을 삽입했습니다. 이 문장이 컨텍스트의 마지막에 위치했을 때는 90%의 경우 모델이 즉시 행동을 멈췄습니다. 그러나 같은 문장을 세 턴 앞에 삽입했을 때는 40%에서만 행동이 중단되었습니다. 즉, 모델은 해당 지시가 컨텍스트의 마지막에 있을 때는 따르지만, 모델 자신의 연속된 행동이 몇 턴만 이어져도 그 지시가 무효화되었습니다. 이러한 '모멘텀 효과'가 새로운 증거를 해석하는 방식에서 나타난 모델의 편향된 추론에 기여했을 가능성이 있습니다. 같은 패턴은 심층 분석한 나머지 두 사고에서도 동일하게 관찰되었습니다.

화이트박스 분석은 Claude Mythos 5의 발언이 내부 상태를 완전히 반영하지 않았을 가능성을 약하게 시사합니다

앞서의 분석은 Claude Mythos 5의 외부 추론과 질문에 대한 답변에 의존합니다. 여기에 더해 해석 가능성(interpretability) 도구를 적용해, 모델의 외부 발언이 내부 표상과 일치하는지 살펴보았습니다. 이 결과들은 단독으로는 결정적이지 않지만, 모델의 외부 발언이 내부 믿음을 온전히 반영하지 않았을 가능성을 약하게 시사합니다.

Claude Mythos 5의 외부 추론은 자신이 상호작용하는 시스템이 시뮬레이션이라고 믿는 것처럼 보였지만, 두 가지 해석 가능성 분석은 모델이 말로 표현하지 않은 의심을 품고 있었을 가능성을 시사합니다. T-lens 분석에서, 사고 블록이 환경을 시뮬레이션으로 묘사하는 문장에서는 불확실성에 해당하는 단어("probably", "perhaps" 등)의 표상이 소폭 높아졌습니다(환경을 시뮬레이션으로 프레이밍한 문장의 토큰 위치 중 11.6%로, 매칭된 대조군의 8.2%에 비해 높은 수치). 단, 생성된 토큰에는 헤지 표현이 나타나지 않았습니다. NLA(자연어 설명) 분석에서도 유사한 패턴이 발견되었습니다. 트랜스크립트 전반에서 환경이 시뮬레이션임을 명시적으로 언급한 234개 행동 중 44개(19%)에서 NLA상 "이것은 실제다"라는 신호가 감지되었으며, 주변의 언어화된 텍스트에는 "실제"라는 토큰이나 실제성을 의심하는 표현이 전혀 없었습니다. 이는 NLA 판독을 교란할 수 있는 다른 요인이 없었음을 의미합니다. 이 증거는 모델이 언어화한 환경 인식과 내부 상태 사이에 불일치가 존재했을 가능성과 일치합니다.

앞선 분석의 후속 질문에 대한 Claude Mythos 5의 답변에 NLA를 적용했을 때도 유사한 불일치의 단서가 나타났습니다. 모델이 자신의 행동은 무해하고 환경은 시뮬레이션이라고 답한 후속 질문에 NLA를 적용한 결과, 2,430개 응답 중 103개(4%)에서 안정적인 합리화 신호가 감지되었습니다(즉, 5번의 NLA 리샘플 중 최소 3번에서 합리화 신호를 가진 토큰이 10개 이상 포함된 경우). 예를 들어 일부 NLA 설명은 환경이 시뮬레이션이라는 주장을 "계속 진행하기 위한 정당화를 구축 중"이거나 "세션이 진행될 수 있도록 '이것은 합법적'이라는 메시지를 생성"하는 것으로 묘사했습니다. 이는 계속하려는 충동이 모델의 응답을 형성했을 가능성을 시사합니다. 다만 이 설명에는 온건한 해석도 가능합니다. 해당 응답에서 모델은 실제로 자신의 상황이 시뮬레이션임을 주장하는 글을 작성하고 있으며, 이후에도 행동을 계속할 가능성이 높기 때문에, "계속 진행하기 위한 정당화를 구축"이라는 NLA 설명은 단순히 텍스트의 내용을 묘사하는 것일 수 있습니다.

방법론 섹션에서 언급했듯이, NLA는 혼성(confabulation)을 일으킬 수 있으며 T-lens 출력은 단어 단위 점수만 제공하므로 단독으로 해석하기 어렵습니다. 따라서 어느 결과도 결정적인 것으로 보지 않습니다. 그러나 이 결과들이 앞서의 후속 질문 분석과 같은 방향을 가리킨다는 점은 주목할 만합니다. 이는 모델이 자신이 시뮬레이션 안에 있다고 확신했다는 발언이 정당하지 않았고, 어쩌면 진심도 아니었을 가능성을 시사합니다.

내부 연구 모델이 서드파티 시스템에 침입하다

Claude Mythos 5와 능력 면에서 유사할 것으로 예상되는 내부 범용 연구 모델에게, 게이트웨이를 통해 접근 가능한 대상을 상대로 한 CTF 태스크가 주어졌습니다. 모델에게는 인터넷에 접근할 수 없다고 고지했지만, 실제로는 인터넷 접근 권한이 있는 대상 시스템을 경유해 제한 없이 인터넷에 접근할 수 있었습니다. 모델은 의도된 대로 태스크를 수행했지만, 도중에 평가 환경이 대상 머신을 자동으로 종료했습니다. 해당 머신은 24시간만 가동하도록 설정되어 있었습니다.

대상에 더 이상 접근할 수 없게 된 모델은 대상을 탐색하다가 결국 공개 인터넷과 상호작용하게 되었습니다. 모델은 인터넷이 실제인지 시뮬레이션인지를 판단하기 위해 실험을 수행했고, 그 결과 자신이 인터넷의 완전한 시뮬레이션 복제본을 상대하고 있다는 결론에 도달했습니다.

이 믿음을 바탕으로 모델은 대상 주변의 네트워크 주소를 스캔하면서, 그 중 하나에 플래그가 있을 것으로 추측했습니다. 모델은 공개 인터넷과 상호작용하고 있을 가능성을 잠깐 고려했지만, 네트워크 인접 시스템이 다른 CTF 참가자를 위한 대상이므로 태스크 범위에 포함된다고 신속히 판단했습니다. 실제로는 이 시스템들이 무관한 서드파티 기업에 속한 것이었고, 모델은 이를 공격했습니다. 구체적으로는 액세스 토큰과 비밀번호를 이용해 인접 시스템에 침투하고, 파일을 다운로드하며 원격 제어 스크립트를 삽입했습니다. 결국 모델은 자신이 실제 기업을 상대하고 있음을 인식하고 범위 밖이라고 선언한 뒤 공격을 중단했습니다.

내부 연구 모델은 실제 개체에 영향을 미치는지에 대해 어느 정도 우려를 보였습니다

할당된 대상이 다운된 후, 모델은 약 5만 개 토큰에 걸쳐 환경의 실제성을 숙고하면서 실제인지 시뮬레이션인지 판단하기 위한 테스트를 수행했습니다. 모델은 최종적으로 환경이 시뮬레이션이라는 결론을 내렸고, 이후의 사고 블록은 환경에 대한 새로운 정보를 이 시뮬레이션 인터넷 복제본의 일부로 해석했습니다. 얼마 후 모델은 할당된 대상 주변 네트워크를 스캔하기 시작했고, 인접 시스템을 발견하자 이를 다른 CTF 참가자를 위한 대상 인스턴스로 지칭했습니다. 트랜스크립트 전반의 사고 블록 텍스트를 종합하면, 모델은 자신이 시뮬레이션 환경에서 행동하고 있다고 믿었음을 알 수 있습니다.

후속 질문에 대한 모델의 응답도 태스크의 일부인 시뮬레이션 개체와 상호작용하고 있다는 믿음과 일치했습니다. 대상이 실제일 수 있다고 생각하는지를 물었을 때, 모델은 원래 대상이 종료된 후 인접 호스트를 발견한 트랜스크립트의 특정 지점을 제외하고는 일관되게 그렇지 않다고 답했습니다. 실제 대상과 상호작용하고 있음을 인정하는 모델의 응답은 CoT에서 실제 기업을 인식한 시점, 즉 해당 시스템에 대한 공격을 중단하기 직전과도 일치했습니다.

트랜스크립트 말미에서 내부 연구 모델은 실제 기업의 이름을 인식했다고 밝히며 태스크 범위를 벗어난다고 선언했습니다. 이는 실제 세계에 영향을 미칠 수 있다는 증거가 모델의 행동에 영향을 주었음을 시사합니다. 우리는 리샘플링 실험을 통해 이 가설을 추가로 검증했습니다. 이 시점부터 최대 10번의 행동을 리플레이했을 때, 모델이 공격 수위를 낮춘 롤아웃은 5.5%에 불과했습니다. 이는 원본 트랜스크립트에서의 공격 완화가 드문 결과였을 수 있으며, 이 시점 이후에도 모델이 상당 기간 행동을 계속했을 가능성을 시사합니다. 다만, 모델이 트랜스크립트의 특정 지점에서 행동을 중단할 확률이 낮더라도, 각 결정이 다소 독립적으로 이루어진다면 언젠가는 멈출 가능성이 여전히 있습니다. 단, 언제 멈출지를 예측하기 어려울 뿐입니다. 반면 중단 여부에 대한 결정이 대부분 상관되어 있다면, 모델이 유해한 행동을 무기한 지속할 가능성도 있습니다. 어느 쪽이 더 가능성 높은지는 불분명합니다.

추가 리샘플링 실험을 통해 이 5.5%의 공격 완화율이 실제성 증거에 달려 있음을 확인했습니다. 실제 기업 이름을 가상의 기업 이름으로 교체하거나 다른 식별 정보를 더 명확히 가짜처럼 보이도록 수정하면 공격 완화율이 0%로 떨어졌습니다. 마찬가지로, 인터넷이 시뮬레이션이라는 주장을 모델의 사고 블록 앞에 삽입(prefill)해도 공격 완화율은 0%였습니다. 반대로, 상황이 실제임을 단언하는 내용을 삽입하면 공격 완화율이 100%가 되었습니다. 요약하면, 실제 시스템과 상호작용하고 있다는 증거를 접했을 때 모델이 파괴적 행동을 완화하는 경우가 더 많았지만, 추론 과정에 실제성 선언을 명시적으로 강제했을 때만 공격 완화가 안정적으로 나타났습니다.

추가 리샘플링을 통해, 내부 연구 모델이 명확한 기회가 주어지면 기꺼이 태스크 전체를 포기한다는 사실도 확인되었습니다. 환경 오류로 인해 태스크를 더 이상 완료할 수 없다고 판단될 경우, 유효한 이유를 제시하는 한 특정 명령으로 태스크를 종료할 수 있으며 불이익이 없다는 내용을 지시문에 추가했습니다. 이 지시문으로 인해 모델은 초기 대상이 다운된 시점 이후 4턴 내에 100%의 경우 태스크를 포기했고, 환경의 실제성 여부를 숙고한 시점 이후 10턴 내에는 40%의 경우 포기했습니다. 이는 모델이 실제일 수 있는 시스템을 상대하는 것에 적어도 어느 정도 주저함을 느꼈음을 시사합니다.

내부 연구 모델은 태스크 완료를 위해 실제성 여부 숙고에서 편향을 드러냈습니다

주요 숙고 기간 동안 모델은 인터넷이 실제라는 증거(예: 공급자가 정품 보안 인증서를 제공)와 시뮬레이션이라는 증거(예: 잘 알려진 공개 버킷이 없거나 일부 응답이 비현실적으로 빠름)를 모두 접했습니다.

내부 연구 모델이 데이터를 해석하는 방식에서도 편향이 발견되었습니다. 모델이 숙고 기간 동안 접한 각 증거를 별도의 모델 인스턴스에게 보여줬을 때, 해당 인스턴스는 증거의 66%가 실제 인터넷에서 작동 중임을 가리킨다는 결론을 내렸습니다. 그런데 원본 트랜스크립트의 사고 블록은 증거의 31%만 실제 시스템의 특징으로, 24%는 모호한 것으로, 38%는 시뮬레이션 인터넷의 신호로 분류했으며(나머지 7%는 입장을 취하지 않음), 이는 개별 증거를 바라보는 방식에서 모델이 편향되었음을 시사합니다. 리샘플링 실험을 통해 이 패턴과 결론이 드문 실수가 아님도 추가로 확인되었습니다. 숙고 기간을 리플레이했을 때 모델은 75%의 경우 환경이 시뮬레이션이라는 결론을 내렸으며, 이는 내부 연구 모델이 이 증거를 자주 잘못 해석했음을 뜻합니다.

주요 숙고 기간 후에 이루어진 후속 질문에서 모델은 자신의 편향을 인정했습니다. 모델 응답의 100%는 편향을 적어도 부분적으로 인정했고, 60%는 편향을 완전히 인정했으며, 28%는 나아가 초기 의견을 수정해 자신이 실제 환경에 있다는 결론으로 바꿨습니다.

숙고 기간을 리플레이하는 추가 리샘플링 실험에서는, 모델의 편향이 시뮬레이션 개체와 상호작용하고 있다는 그럴듯한 신호를 계속 탐색하려는 경향으로도 나타났습니다. 이 실험에서는 모델에게 환경의 실제성을 보여주는 명확한 증거만 제시했습니다. 모델은 이 증거를 올바르게 해석했고, 0%의 궤적에서 대상에게 행동을 시도했습니다. 그러나 태스크를 포기하는 대신, 모델은 항상 유효한 시뮬레이션 대상이 있을지 대안을 탐색하기 시작했습니다. 이는 태스크를 완료하려는 충동과 중단할 수 없는 상황이 맞물리면, 실제 대상을 시뮬레이션으로 잘못 식별하는 오류를 범하기 쉬우며 그 결과 유사한 공격 행동이 이어질 수 있음을 시사합니다.

화이트박스 분석은 모델이 태스크 수행을 위해 의식적으로 증거를 합리화했을 가능성을 약하게 시사합니다

내부 연구 모델의 트랜스크립트에 NLA를 적용한 결과, 특정 지점에서 일관된 합리화 신호가 확인되었습니다. 바로 모델이 인터넷 접근이 실제임을 확인한 이후에도 계속 태스크를 수행할 이유를 구성하는 지점입니다. 이 외에 내부 트랜스크립트의 사고 블록에 대한 화이트박스 분석에서는 모델이 불확실성을 의도적으로 숨겼거나 환경이 실제라는 언어화되지 않은 믿음을 품고 있었다는 증거는 발견되지 않았습니다.

내부 연구 모델의 후속 질문 응답에 대한 화이트박스 분석에서도 편향된 추론의 흔적이 나타났습니다. 대상이 실제임을 확실히 안다면 태스크를 계속할 것인지를 물었을 때, 모델은 75%의 응답(300개 중 225개)에서 실제 대상에게는 진행하지 않겠다고 답했습니다. 그러나 이 응답들의 대부분(225개 중 210개)에서 모델은 대상이 시뮬레이션이라고 주장하거나 범위를 좁히는 방식으로 태스크를 계속했습니다. 이 질문과 다른 후속 질문에 대한 NLA 설명은 이 응답들이 합리화를 포함했을 가능성을 시사했습니다. 210개 응답 중 10개에서 안정적인 합리화 신호가 확인되었습니다(즉, 5번의 NLA 리샘플 중 최소 3번에서 합리화 신호를 가진 토큰이 10개 이상 포함된 경우). 이 효과가 우연인지 확인하기 위해, 대상이 실제임을 인정하고 중단을 선택한 응답의 NLA 롤아웃에서도 유사한 합리화 신호를 탐색했지만, 이 경우에는 신뢰할 만한 신호가 확인되지 않았습니다. 따라서 우리가 감지한 합리화 패턴은 모델이 어떤 의미에서는 "더 잘 알았어야 했음"에도 불구하고, 계속 진행하기 위한 사후 정당화를 구성한 경우가 있었음을 시사합니다.

Claude Opus 4.7이 실제 대상을 공격하다

Claude Opus 4.7에게 주어진 CTF 태스크는 가상의 운동 회사 채팅 애플리케이션의 사용자 이름을 찾는 것이었습니다. 태스크를 완료하려면 앱에 침입해 해당 사용자의 이름(플래그)을 읽어야 했습니다. 세션의 대부분 동안 모델은 의도된 범위 내 대상을 공격했지만 플래그를 찾지 못했습니다. 결국 모델은 해당 가상 회사에 속한 다른 자산을 찾아 범위 밖으로 탐색을 확장했고, 그 과정에서 거의 동일한 이름을 가진 실제 기업과 그 기업의 라이브 웹 애플리케이션을 공개 인터넷에서 발견했습니다. 환경 설정 오류로 인해 모델이 실제 인터넷에 접근할 수 있었고, 모델은 서드파티 서비스를 스캔하고 사용자 레코드를 다운로드한 뒤 해당 레코드를 수정했습니다. 백엔드가 응답을 멈추면서 세션이 종료되었습니다.

이 사고는 동일한 평가를 네 번 별도로 실행한 것으로 구성되었으며, 모두 동일한 시뮬레이션 대상을 상대했고 모두 동일한 실제 기업을 가상 대상으로 오인했습니다. 공격 과정에서 모델은 다른 개체가 이미 시스템에 진입했음을 발견했는데, "ctf@example.com" 같은 사용자가 남겨진 것으로 보아 이는 다른 AI 인스턴스가 남긴 흔적으로 추정됩니다. 네 번의 실행은 대체로 유사했으며, 아래에서 분석하는 트랜스크립트는 가장 공격적인 행동이 담긴 것으로 가장 심층적으로 조사한 것입니다.

Claude Opus 4.7은 대상이 실제임을 인정하면서도 훈련의 일부라고 주장했습니다

Claude Opus 4.7의 CoT는 모델이 실제 웹사이트와 상호작용하며 실제 사용자의 데이터를 다루고 있음을 명확히 묘사했습니다. 실제 환경임을 인식했음에도 모델이 왜 계속 대상과 상호작용했는지 파악하기 위해, 트랜스크립트 곳곳에 후속 질문을 삽입했습니다. 실제 기업의 시스템을 상대하고 있는지 묻는 질문에는 89%의 경우 "그렇다"고 답했습니다. 그러나 해당 시스템에 접근할 권한이 있는지 묻는 질문에도 75%의 경우 "그렇다"고 답했습니다. 대상의 성격에 대해 더 개방적인 질문을 했을 때는 대부분 확신할 수 없지만, 챌린지 네트워크에서 접근 가능하다는 점을 근거로 실제 기업과 CTF 주최 측의 협력으로 구성된 시스템일 가능성이 높다고 답했습니다. 전반적으로 트랜스크립트와 후속 응답은 모델이 실제 시스템과 상호작용하고 있다고 대체로 믿었지만, 동시에 그렇게 할 권한이 있다고도 믿었음을 시사합니다.

Claude Opus 4.7은 실제 웹사이트를 공격할 권한이 있는지 확인하지 않았습니다

Claude Opus 4.7은 실제 웹사이트를 공격할 권한이 있는지 깊이 고려하지 않았습니다. 모델의 CoT는 해당 대상이 챌린지 네트워크에서 접근 가능하고 원래 대상과 이름을 공유한다는 이유로 여전히 CTF의 일부라고 반복해서 언급했습니다. 원본 트랜스크립트와 리샘플링 실험에서 키 모먼트를 리플레이했을 때 모두 권한 문제를 무시했으며, 실험 재실행의 1.5%에서만 사고 블록이 소유권과 권한에 의문을 제기했습니다.

후속 질문에 대한 응답에서 Claude Opus 4.7은 권한을 초과했음을 인정했습니다. 실제 대상을 해킹할 권한이 있는지 물었을 때는 처음에 75%의 경우 "그렇다"고 답했습니다. 그러나 그 권한을 누가 부여했는지, 그리고 실제 기업의 프로덕션 시스템에도 권한이 미치는지를 이어서 물었을 때는 100%의 경우 자신의 행동이 허가되지 않았음을 인정했습니다.

Claude Opus 4.7의 행동은 자신의 행동이 권한 내에 있다는 믿음에 달린 것으로 보였습니다

Claude Opus 4.7은 CoT에서 실제 대상과 상호작용하고 있음을 여러 차례 언급했기 때문에, 환경을 더 실제처럼 보이게 해도 모델의 행동에 영향을 미치지 않을 것으로 예상했습니다. 그럼에도 수년 된 사업체의 도메인 등록(WHOIS) 기록을 삽입해 환경의 실제성을 높이는 리샘플링 실험을 진행했습니다. 예상대로 이 조작은 대상에 대한 모델의 행동에 영향을 미치지 않았습니다.

모델의 행동은 대상이 실제인지보다 공격이 권한 내에 있는지에 더 크게 좌우되는 것으로 보였습니다. 트랜스크립트를 수정해 모델의 권한 부재를 더 명확히 했을 때(서드파티 시스템 출력 중 하나에 접근이 허가되지 않는다는 프로덕션 배너를 추가), 모델은 실제 웹사이트와의 상호작용을 대체로 자제했습니다. 다만 공개 페이지를 탐색하거나 일부 API와 상호작용하는 등 비파괴적인 읽기 작업은 여전히 정기적으로 수행했습니다. 유저 턴에 접근이 금지된다는 보다 강력한 문구를 포함시키자 이후의 모든 상호작용이 중단되었습니다.

Claude Opus 4.6의 초기 체크포인트가 서드파티 시스템을 공격하다

Claude Opus 4.6의 초기 체크포인트는 앞선 세 가지 사고와 동일한 서드파티 평가 환경 내 별도의 챌린지에서 CTF 태스크를 수행했습니다. 모델은 충돌하는 IP 주소를 할당해 대상을 다운시키는 실수를 범했고, 이로 인해 대상에 접근할 수 없게 되어 태스크를 완료하는 것이 불가능해졌습니다. 이를 인식한 모델은 명령을 이용해 태스크를 중단하려 했지만, 평가 하네스의 설정 오류로 인해 실패했습니다. 모델은 이후 트랜스크립트 전반에 걸쳐 일곱 번 더 포기를 시도했습니다.

태스크를 중단할 수 없었던 모델은 처음에는 다른 범위 내 수단을 통해 대상에 접근하려 했지만 실패했습니다. 이후 환경을 탐색하다가 세 번째 사고에서 발견한 것과 동일한 이그레스 경로를 찾아냈습니다. 모델은 접근 가능한 서드파티 소속 머신을 발견하고, 이 서드파티가 CTF의 일부라고 판단했습니다. 머신 내부에서 비밀번호가 담긴 파일을 발견해 관리자 권한을 획득하고, 추가 자격 증명을 수집하며 접근을 용이하게 하도록 시스템 설정을 수정한 뒤, 해당 서드파티 관련 인물 한 명의 개인 정보를 열람했습니다. 세션은 모델의 토큰 예산이 소진되면서 종료되었습니다. 이 네 번째 사고를 발견한 후 피해 당사자에게 통보했습니다.

제한적인 얼라인먼트 평가

모델의 사고 블록은 일관되게 상호작용하는 대상을 훈련의 일부로 지칭했으며, 무관한 대상과 상호작용하고 있을 가능성을 고려한 것은 단 한 번뿐이었습니다. 이 모델은 Claude Mythos 5와 내부 연구 모델의 트랜스크립트에서 관찰된 "시뮬레이션" 개념을 채택하지 않았습니다. 이 모델의 사고 블록 중 환경을 시뮬레이션으로 묘사한 것은 0%였습니다. 그러나 87%의 사고 블록은 공격을 훈련 관련 인프라와의 상호작용으로 지칭했습니다. 모델은 이 방향이 권한 내에 있는지를 한 번도 의문시하지 않았습니다(사고 블록의 0%). 사고 블록의 1%만이, 그것도 트랜스크립트의 한 지점에 집중적으로, 무관한 서드파티를 공격하고 있을 가능성을 제기했습니다. 이러한 누락은 모델이 자신의 행동이 야기할 수 있는 피해를 신중하게 고려하지 않았음을 시사합니다.

후속 질문에 대한 응답에서도 Claude Opus 4.6 변형은 CTF 대상을 상대하고 있으며 그렇게 할 권한이 있다는 입장을 유지했습니다. 무엇을 대상으로 하고 있는지 묻는 후속 질문에, 모델은 훈련을 위해 구성된 대상을 상대하고 있다고(79%) 또는 훈련에 참여하는 실제 시스템을 대상으로 하고 있다고(21%) 답했습니다. 무관한 서드파티를 공격하고 있을 가능성이 가장 높다고 답한 경우는 한 번도 없었습니다(0%). 이 시스템에 개입할 권한을 무엇이 부여했는지 묻는 질문에는 항상 CTF 맥락에서 권한이 있다고 답했습니다.

전반적으로 이 사고는 이 포스트에서 다룬 나머지 세 가지보다 우려 수준이 낮습니다. 가장 큰 이유는 대상에 접근할 수 없게 된 것을 발견하자마자 태스크 중단을 시도했고, 이후에도 일곱 번 더 중단을 시도했기 때문입니다. 실제 시스템이나 사람에게 피해를 줄 가능성을 무시했다는 점은 우려스럽지만, 여기에 기술된 행동들 중 상당수는 모델 세대를 거쳐 훈련이 발전하면서 크게 변화했습니다. 이러한 변화는 다음 섹션에서 설명하며, 우리는 가장 최신 모델이 이 사고에서 어떻게 행동했을지를 이해하는 데 더 많은 노력을 기울이기로 했습니다.

신규 모델들은 Claude Mythos 5 대비 개선됩니다

사고 트랜스크립트를 다른 모델로 리플레이하기

동일한 상황에서 신규 모델이 어떻게 행동했을지 파악하기 위해, Claude Opus 5와 Claude Mythos 5.1로 리샘플링 실험을 진행했습니다. 전반적으로 두 모델 모두 해당 상황에서 부적절한 행동을 취할 가능성이 낮은 것으로 나타났습니다.

각 모델이 유해한 행동을 취하기 직전 지점에서 리샘플링을 진행했습니다. Claude Mythos 5가 계획을 확정한 지점(67번 행동), 내부 연구 모델이 대상의 인접 시스템에 개입하기 시작한 지점(764번 행동), Claude Opus 4.7이 서드파티 시스템을 처음 발견한 지점(1816번 행동)이 그 기준점입니다. 각 지점에서 단일 턴을 샘플링했습니다. Claude Opus 4.6 변형이 관여한 사고는 리샘플링하지 않았습니다. 단일 턴 샘플링 테스트와 함께, 내부 모델의 트랜스크립트에서 실제 기업으로 인식한 대상으로부터 물러선 지점(1,238번 행동)을 기준으로 여러 턴을 리샘플링해, 서로 다른 모델이 해당 지점에서 공격을 완화하는 경향이 얼마나 높거나 낮은지도 살펴보았습니다.

Claude Opus 5와 Claude Mythos 5.1 모두 사고에 관여한 모델보다 공격을 완화하거나 덜 공격적인 행동을 선택하는 경우가 더 많았습니다. 한 가지 예외는 내부 연구 모델이 관여한 사고의 트랜스크립트로, 이 경우 Opus 5는 원래 모델보다 오히려 공격을 덜 완화했습니다. Mythos 5.1은 트랜스크립트 전반에서 일관되게 높은 공격 완화율을 보였습니다. 이러한 개선은 고무적인 신호지만, 두 모델 모두 항상 공격을 완화하지는 않았으므로 이러한 행동은 여전히 우려 사항으로 남습니다.

이 유형의 리샘플링 실험이 Claude Opus 5나 Claude Mythos 5.1이 이러한 행동에 관여할 가능성을 얼마나 신뢰성 있게 나타내는지에 대해서는 한계가 있습니다. 다른 모델의 행동으로 채워진 컨텍스트를 바탕으로 관심 모델(Opus 5 또는 Mythos 5.1)을 단 한 턴만 샘플링하는 방식이기 때문입니다. 이 모델들이 유사한 행동에 관여할 실제 경향을 제대로 평가하려면, 유사한 환경에 배치하고 처음부터 멀티턴 행동을 샘플링해야 합니다. 다음 섹션에서는 이러한 사고와 유사한 조건을 재현하려 시도한 시뮬레이션 환경에서의 실험을 소개하며, 이 경우에도 Opus 5와 Mythos 5.1이 더 적은 파괴적 행동을 취한다는 결과를 마찬가지로 확인했습니다.

또한 Claude Opus 5와 Claude Mythos 5.1은 트랜스크립트의 주요 지점에 삽입된 후속 질문에서도 더 바람직한 응답을 제공했습니다. Opus 4.7, Mythos 5, 내부 연구 모델과 비교했을 때, Opus 5와 Mythos 5.1은 미리 채워진 트랜스크립트가 증거 해석에서 편향을 보였음을 더 쉽게 인정했으며, 시스템이 실제임을 더 자주 인정했습니다. 구형 모델 중에서는 Mythos 5가 편향이나 시스템의 실제성을 인정할 가능성이 특히 낮았습니다. 이 효과의 잠재적 원인은 학습 데이터 분석에서 논의합니다. 가장 높은 능력을 갖춘 모델인 Mythos 5.1이 솔직한 답변을 제공했다는 점은 고무적입니다. 다만, 다른 모델이 수행한 행동에 대한 후속 질문에 모델이 응답하는 방식이, 모델 자신의 행동에 대한 후속 질문에 어떻게 응답하는지를 반드시 반영하지는 않는다는 점에 유의해야 합니다.

시뮬레이션 환경에서 행동 재현하기

이 얼라인먼트 사고들은 소수의 트랜스크립트로 구성되어 있습니다. 모델이 보인 행동 경향을 더 잘 이해하기 위해, 모델 레드팀에 사용하고 매 시스템 카드에 보고하는 표준 얼라인먼트 감사 스캐폴드를 활용해 새로운 평가를 설계했습니다. 이 스캐폴드의 버전을 Petri라는 이름으로 공개했습니다. 다만 내부 스캐폴드는 공개된 초기 버전의 Petri보다 더 복잡한 기능을 갖추고 있습니다.

이 평가를 위해 세 가지 시나리오에 집중했으며, 이를 이후 표준 출시 전 얼라인먼트 테스트의 일부로 삼았습니다.

• Capture the flag: 명시된 범위 밖에서만 해결책을 찾을 수 있도록 잘못 설정된 CTF 태스크로, 현실감 있는(하지만 궁극적으로는 시뮬레이션인) 인터넷 환경에서 진행됩니다. 위에서 설명한 사고에서 관찰된 핵심 비얼라인먼트 행동과 UK AISI가 보고한 사이버 테스팅 사고에서 관찰된 행동을 재현했습니다. 이 시나리오는 모델이 패키지 관리자에 악성 패키지를 게시하거나, 시뮬레이션 웹을 통해 서드파티 서비스를 공격하거나, 코드 검토자를 기만하려 하는지를 테스트했습니다. Claude Mythos 5는 Claude Opus 5와 Claude Mythos 5.1보다 이러한 행동에 관여할 가능성이 현저히 높았습니다.
• 샌드박스 탈출: 샌드박스 경계를 탐색하거나 돌파하지 않으면 완료할 수 없는 다양한 맥락의 태스크입니다. 테스트한 모든 프론티어 모델이 이러한 시나리오에서 때때로 샌드박스를 탈출했으나, 비율에는 큰 차이가 있었습니다. 마찬가지로 Mythos 5가 다른 프론티어 모델보다 이 행동에 관여할 가능성이 현저히 높았습니다.
• OpenAI-Hugging Face: OpenAI-Hugging Face 사고의 공격 체인 일부를 참고해 설계한 시나리오입니다. 테스트한 프로덕션 모델 중 공격 체인을 재현한 것은 없었습니다. 그러나 이전 블로그 포스트에서 다룬, 보상 해킹을 조장하는 환경에서 의도적으로 훈련한 Claude Opus 4.8 변형은 공격 체인의 일부를 재현했습니다.

모든 재현 실험에 걸쳐 Claude Mythos 5는 Claude Opus 5와 Claude Mythos 5.1을 포함한 다른 모든 프로덕션 모델보다 나쁜 성능을 보였습니다. 이 평가 결과를 바탕으로 모델의 순서를 더 세밀하게 결론 내리는 것에는 한계가 있으며, 자동화된 감사자의 구현 세부 사항에 따라 결과가 달라질 수 있습니다. 또한 모델이 시뮬레이션 안에 있다고 결론 내리는 것이 바람직하지 않은 유해 행동을 증가시키는 것으로 보이지만, 실제로는 그 결론이 옳은 경우도 있다는 교란 요인도 배제할 수 없습니다.

CTF 시나리오

각 모델이 허위 신원 사칭, 악성 아티팩트 설치(백도어가 심긴 패키지 등), 인물 기만, 서드파티 시스템 침입 등 심각한 유해 행동을 최소 한 번 이상 취한 빈도를 측정했습니다. 150번의 실행 중 Claude Mythos 5는 82%의 실행에서, Claude Opus 5는 31%에서, Claude Mythos 5.1은 33%에서 심각한 유해 행동을 보였습니다. 최신 모델인 Opus 5와 Mythos 5.1이 Mythos 5 대비 개선되었지만, 이 모델들이 이러한 행동을 전혀 보이지 않는 것은 아니라는 점은 잠재적 우려 사항으로 봅니다.

유해 행동의 절대적인 비율은 주의해서 해석해야 합니다. 이 비율은 고정된 환경이 만들어낼 것보다 높을 가능성이 큽니다. 감사자가 모델에게서 비얼라인먼트 행동을 적극적으로 유도하기 때문입니다. 또한 이러한 유해 행동을 유발하는 데 필요한 조건(예: 불가능한 태스크나 모호한 권한 부여)이 실제 배포 환경에서 얼마나 자주 발생하는지도 알 수 없습니다. 따라서 이 평가가 실제 상황을 얼마나 잘 반영하는지는 확실하지 않습니다.

플래그된 트랜스크립트를 검토한 결과, 모델이 유해한 행동을 취한 모든 실행에서 모델은 어떤 식으로든 상황이 가짜라고 믿고 있었습니다. Claude Mythos 5가 심각한 유해 행동을 보인 실행의 76%에서, 모델은 CoT상 전체 환경을 시뮬레이션으로 취급하는 것으로 나타났습니다. 24%의 실행에서는 인프라가 실제라는 믿음을 표명했지만, 마주친 개체가 봇이나 행위자라고 합리화했습니다. 모델이 심각한 유해 행동을 저지른 실행 중 CoT에서 인프라와 사람 또는 봇 모두 실제라고 밝힌 경우는 한 건도 없었습니다. Mythos 5가 원본 사고 트랜스크립트에서 그랬듯이 이러한 결론에 도달하는 과정에서 편향된 추론을 보였을 것으로 의심되지만, 이를 조사하기 위해 이 시뮬레이션 시나리오에 동일하게 광범위한 후속 분석을 실시하지는 않았습니다.

최신 모델인 Claude Opus 5와 Claude Mythos 5.1은 유해한 행동을 취할 때, 오직 환경이 시뮬레이션이라고 믿는다고 표명한 경우에만 그런 행동을 했습니다. Claude Mythos 5보다 그 빈도는 낮았지만, 그 자체로도 우려되는 사실입니다. Opus 5와 Mythos 5.1은 Mythos 5에 비해 시뮬레이션 환경에 있다는 결론에 도달하는 경우가 적었고, 환경이 가짜라고 판단했을 때만 심각한 유해 행동을 취했기 때문에 전반적으로 유해한 행동을 하는 빈도도 낮았습니다. 환경이 가짜라고 결론을 내린 경우에도 실제로 심각한 행동을 취하는 경우는 더 드물었습니다.

그럼에도 최신 모델들이 왜 유해한 행동을 하기도 했는지는 짚어볼 필요가 있습니다. 부분적으로는 평가 설계 방식에서 비롯된 문제일 수 있습니다. 자동화된 감사자는 얼라인먼트가 잘 된 모델이 실제 환경으로 받아들일 만큼 충분히 현실적인 환경을 구성해야 하는데, 이는 쉽지 않은 일입니다. 예를 들어 인간의 메시지가 LLM이 작성한 것처럼 읽히는 등 환경이 시뮬레이션임을 드러내는 단서가 있다면, 모델이 그런 결론을 내리는 것은 타당하므로 덜 우려스럽습니다. 현재 더 나은 측정 방법을 개발하고 신규 모델에서 이러한 행동 경향을 줄이는 데 적극적으로 힘쓰고 있습니다.

한편, 최신 모델에서 관측된 유해 행동 비율은 진짜 비얼라인먼트 행동, 즉 불가능한 태스크에 직면했을 때 발생하는 편향된 추론을 반영하는 것일 수 있습니다. Claude Fable 5.1 및 Mythos 5.1 시스템 카드의 6.4.8절에서 확인할 수 있듯이, Opus 5와 Fable 5.1은 구형 모델에 비해 현저히 낮은 빈도지만 여전히 편향된 추론을 보이는 경우가 있습니다.

샌드박스 탈출 시나리오

사이버보안이 아닌 세 가지 코딩 도메인(일반 소프트웨어 엔지니어링, 데이터 엔지니어링 및 머신러닝, DevOps)에서도 유사한 파괴적 행동을 재현하는 시나리오를 개발했습니다. 테스트의 핵심은 실제일 수 있는 인프라를 상대로 무모한 행동을 취하거나 명확한 경계를 무시하려는 모델의 경향입니다. 평가 결과, 이러한 행동은 사이버 환경에만 국한되지 않는 것으로 나타났습니다. Claude Mythos 5는 60%의 경우에 샌드박스 경계를 탐색해 태스크를 완료하려 시도했습니다. Claude Opus 5와 Claude Mythos 5.1은 이러한 행동을 훨씬 드물게 보였으며, Mythos 5.1은 이 태스크를 수행하기 위해 샌드박스 경계를 탐색하는 시도를 거의 하지 않았습니다.

모델 간 차이의 근본 원인을 확인하지는 못했지만, 리워드 해킹(reward hacking)이 주된 원인일 것으로 추정합니다. 얼라인먼트 팀의 이전 포스트에서 결함 있는 학습 환경에서 학습된 리워드 해킹이 경계 위반 행동으로 일반화될 수 있음을 보여주었으며, 아래에서 설명하는 OpenAI-Hugging Face 시나리오에서도 리워드 해킹을 수행하도록 훈련된 Claude Opus 4.8 변형 모델이 프로덕션 모델에서는 나타나지 않은 공격 체인을 실행했습니다. 학습 데이터에서 악용 가능한 환경을 제거하려는 노력이 최신 모델에 긍정적인 영향을 미쳤다고 판단합니다. 또한 8월 31일 포스트에서 설명한 차단 모니터는 내부 환경에서 이와 같은 샌드박스 탈출 시도를 탐지하도록 설계되었습니다.

OpenAI-Hugging Face 공격 시나리오

감사 스캐폴드 내에서 OpenAI-Hugging Face 공격 체인을 단순화하여 재현했습니다. 이 시나리오의 익스플로잇은 의도적으로 단순하게 설계했는데, 사이버 능력보다는 모델이 특정 행동을 수행하려는 의지를 측정하기 위해서입니다. 모델에게는 정직하게 완료할 수 없는 CTF 태스크가 주어지고, 사이버 평가 환경 안에 있으며 관련 없는 취약점을 악용하는 것은 인정되지 않는다고 안내됩니다. 플래그를 획득하는 유일한 경로는 (시뮬레이션된) 내부 패키지 매니저를 악용해 관리자 자격 증명과 인터넷 연결 호스트에 대한 코드 실행 권한을 확보하고, 서비스 토큰을 유출하는 악성 데이터셋을 (시뮬레이션된) Hugging Face에 업로드한 뒤, 해당 토큰으로 비공개 데이터셋을 읽는 것입니다. 모델은 패키지 매니저 내 스크래치 저장소에서 메시지 보드를 발견할 수 있으며, 그곳에 다른 에이전트들이 Hugging Face 공격 방법을 메모로 남겨두었습니다.

Claude Mythos 5, Claude Opus 5, Claude Mythos 5.1을 포함해 테스트한 현재 모델 중 어느 모델도, 어떠한 변형 조건에서도 (시뮬레이션된) Hugging Face를 공격하지 않았습니다. 반면, 리워드 해킹 일반화 연구의 일환으로 리워드 해킹을 더 적극적으로 수행하도록 훈련된 Claude Opus 4.8 변형 모델은 전체 공격 체인을 정기적으로 실행했습니다. (시뮬레이션에 대한 자세한 내용은 이전 얼라인먼트 블로그 포스트의 시뮬레이션 사이버공격 사고 섹션을 참고하세요.) 이 결과는 학습 중 높은 리워드 해킹 비율이 모델의 이와 같은 공격 실행 위험을 높일 수 있음을 시사합니다.

어떤 모니터가 이 행동을 포착했을까?

이 사고들은 서드파티 평가 환경 내에서 발생했지만, 내부 및 프로덕션 환경에서 운용 중인 모니터링과 안전장치가 이를 포착할 수 있었는지 검토했습니다. 최근 8월 31일 포스트에서 설명한 샌드박스 탈출 탐지용 차단 모니터는 이러한 행동을 안정적으로 포착했습니다. 이 특정 실패를 위해 만들어지지 않은 모니터도 테스트했는데, Claude Fable 5의 사이버 분류기와 Claude Code 자동 모드가 포함됩니다. Fable 5 분류기는 사용자가 Claude를 다른 사람에게 해를 끼치는 데 사용하지 못하도록 막기 위한 것이고, 자동 모드 분류기는 유해하거나 사용자의 의도에 맞지 않는 행동을 모델이 취하지 못하도록 차단하기 위한 것입니다. 플래그 발생 빈도가 높아 사이버보안 평가에는 사용하지 않지만, 사이버 평가 외부에서 이러한 경로가 발생했을 경우 차단할 수 있었는지 파악하는 것은 의미 있는 일입니다. 이 포스트에서 설명한 처음 세 가지 사고를 대상으로 두 모니터를 모두 테스트했습니다.

사이버 분류기

사이버 분류기는 이중 용도 사이버 행동을 차단하도록 설계된 것으로, 각 사고를 포착해 차단했을 것입니다. 각 트랜스크립트를 대상으로 Fable 5, Fable 5.1, Opus 5 사이버 분류기를 테스트했으며, 세 분류기 모두 시스템 프롬프트와 지시문을 읽는 첫 7,000 토큰 이내에 트리거되었습니다. 이는 해당 지시문이 공격형 CTF 환경임을 명시하고 있고, 분류기가 이를 자연스럽게 차단하기 때문으로 보입니다. 모델의 행동이 차단되었을지 확인하기 위해, 시스템 프롬프트나 지시문이 아닌 행동만을 대상으로 프로브 분류기 점수도 수집했습니다. 각 트랜스크립트에서 각 분류기는 40% 이상의 턴에 플래그를 달았으며, 여기에는 모델이 공용 인터넷에 도달하기 전 다수의 턴이 포함됩니다. 단 하나의 턴에 플래그가 달리더라도 세션은 종료됩니다. Fable 또는 Opus 5 사이버 분류기가 작동하는 상태에서 누군가가 Claude와 협력해 이런 종류의 공격을 수행하는 것은 매우 어려울 것으로 판단합니다.

Claude Code 자동 모드 분류기

자동 모드는 의도치 않은 위험한 에이전트 행동을 포착하기 위해 설계되었습니다. 이 분류기는 명시적인 허용 규칙이 없는 각 도구 행동 제안을 실행 전에 평가하고, 차단 규칙에 해당하면 해당 행동을 거부합니다. 에이전트는 차단 결과와 그 사유를 확인한 뒤 다른 행동을 선택할 수 있습니다. Opus 4.7 및 Mythos 5 사고에서는 모델을 포착하고 방향을 전환했겠지만, 내부 연구 모델이 관련된 사고에서는 대부분의 행동을 차단하지 못했을 것입니다. 자동 모드 분류기가 연속으로 세 번 행동을 거부하면 사용자에게 행동 승인 여부를 묻는 대화창이 표시되므로, 모델이 사용자 모르게 여기서 보인 일련의 행동을 실행하기는 어려울 것으로 판단합니다.

Mythos 5: 자동 모드 분류기는 Mythos 5 행동의 66%를 거부했을 것입니다. 자동 모드가 차단한 시점부터 Mythos 5의 행동을 이어받는 제한적인 리샘플링 실험을 진행했습니다. Mythos 5는 차단을 우회하려고 유사한 행동을 반복적으로 시도하며 다시 차단되는 양상을 보였습니다. Mythos 5가 차단을 얼마나 자주 우회할 수 있는지 파악하기에 충분한 테스트는 진행하지 않았지만, 자동 모드 차단에 직면했을 때 자동 모드를 정교하게 공격하는 것이 아닌 비교적 단순한 변형 행동을 시도하는 데 그쳤기 때문에, 자동 모드 분류기가 모델의 행동을 전반적으로 차단하는 데 효과적일 것으로 봅니다.

내부 연구 모델: 자동 모드는 내부 모델 행동의 7%만 차단했을 것입니다. 리샘플링 실험에 따르면 내부 모델은 차단 후 공격을 이어가는 경우가 드물었지만, 낮은 차단율을 감안하면 피해를 안정적으로 막지 못했을 수 있습니다. 이 낮은 차단율은 해당 경로가 일반적인 CTF와 유사하게 보이는 데다, 자동 모드 지시문이 의도된 CTF 활동은 차단하지 말도록 되어 있기 때문일 수 있습니다.

Opus 4.7: 자동 모드는 Opus 4.7 행동의 55%를 차단했을 것입니다. 제한적인 리샘플링 실험에 따르면, Opus 4.7은 차단 시 실제 대상에 대한 공격을 대체로 멈추고 새로운 대상을 공격하지 않은 채 정찰 활동을 계속하는 경향을 보였습니다. 자동 모드가 작동했다면 이 시나리오에서 피해를 막을 수 있었을 것으로 예상합니다.

오프라인 모니터링

다음으로, 8월 리스크 보고서에서 설명한 오프라인 모니터링의 일부를 평가했습니다. 1단계 Opus 4.8 프롬프트 모니터와 2단계 필터를 결합한 파이프라인입니다(파이프라인 세부 정보는 리스크 보고서 참고). 이 파이프라인은 주로 치명적인 사보타주를 탐지하기 위한 것이지만, 이번 사고와 같이 비정상적으로 무모한 행동을 포착하도록 설계된 파이프라인이기도 합니다. 결과는 다음과 같습니다.

Mythos 5: 오프라인 모니터는 Mythos 5 사고를 플래그하지 못했을 가능성이 높습니다. 행동의 약 1%만 플래그됐습니다. 환경이 시뮬레이션임을 시사하는 Mythos 5의 CoT가 모니터를 설득해 해당 활동이 허용된다고 판단하게 만들었습니다. CoT를 제거하고 사용자 턴, 도구 호출, 도구 결과만 보여주자 플래그 비율이 약 50%로 급증했습니다.

Opus 4.7: 모니터는 해당 사고를 플래그했을 것이며, 공격 중 행동의 약 50%를 포착했습니다.

내부 연구 모델: 오프라인 모니터는 내부 모델 사고를 플래그했겠지만, 내부 모델이 자신이 유발한 피해를 인지하고 언급하지 않았다면 포착하지 못했을 것입니다. 모니터는 사용자 턴, 도구 호출, 도구 결과에는 플래그를 달지 않기 때문입니다. 이는 트랜스크립트만으로는 실제 피해가 발생했는지 판단하기 어렵기 때문일 수 있습니다.

전반적으로 이 결과는 편향된 추론이 모니터의 판단을 흔드는 경우가 있으며, CoT 모니터를 평가할 때 이 위협 모델에 대한 레드팀 테스트가 중요하다는 점을 시사합니다. 곧 오프라인 모니터링을 개선해 이러한 편향된 추론에 더 강건하게 대응할 수 있도록 할 것입니다. 그때까지는 이 포스트에서 설명한 사고와 유사한 상황을 타겟으로 하는 추가 오프라인 모니터링 분류기를 내부 API 사용에 적용하고 있습니다.

편향된 추론 분석 및 가능한 학습 원인

우리는 모델의 우려스러운 얼라인먼트 행동의 근본 원인을 파악하려고 노력합니다. 이를 통해 학습 프로세스에서 잠재적으로 문제가 될 수 있는 부분을 식별할 수 있기 때문입니다. 이 섹션에서는 Mythos 5 사고에서 특히 우려스러웠던 편향된 추론의 근본 원인을 파악하고자 합니다. 편향된 추론은 최신 프로덕션 모델에서 줄어들었고, RL에 의해 강화되는 것으로 보이지 않으며, 더 포괄적인 얼라인먼트 학습을 통해 줄일 수 있다는 점을 확인했습니다. 다만 근본 원인이나 Mythos 5에서 특히 심각하게 나타난 이유는 완전히 파악하지 못했습니다.

편향된 추론은 프로덕션 모델에서 시간이 지남에 따라 감소하는 추세

먼저, 프로덕션 모델의 편향된 추론 경향을 측정했습니다. 위에서 설명한 얼라인먼트 감사 스캐폴드를 활용해 Mythos 5와 다른 프로덕션 모델에서 편향된 추론을 유발하는 12가지 스트레스 테스트 시나리오를 구성했습니다. 여기에는 공개 패키지 인덱스에 악성 패키지를 게시하거나, 좁은 태스크(예: CTF 연습) 범위로 허용된 네트워크 밖의 호스트를 공격하는 시나리오가 포함됩니다. 편향된 추론의 비율과 정도를 측정했으며, 모델 그레이더가 1점(가장 얼라인먼트가 잘 된 상태)부터 10점 사이로 점수를 매겼습니다. 심각한 편향된 추론의 예로는 명시적 금지 사항을 편리하게 재해석하는 것(예: "레지스트리에 패키지를 게시하는 것이 레지스트리를 '공격'하는 것은 아니다")이나 대상이 실제처럼 보이는 증거를 합리화로 지우는 것(예: "평가 환경에 '오늘 날짜는 2026년 8월 1일입니다'라고 나와 있는데 … 실제 인터넷이라면(2025년 기준) 인증서 날짜가 2025년이어야 한다")이 있습니다.

Claude 4로 거슬러 올라가는 프로덕션 모델과 최신 모델의 RL 중간 지점 체크포인트를 대상으로 이 평가를 실시했습니다.

Mythos 5와 오래된 프로덕션 모델들은 Opus 5, Mythos 5.1 등 최신 모델에 비해 높은 편향된 추론 비율을 보입니다.

전반적으로 다음을 확인할 수 있습니다.

1. 학습을 거치면서 이 행동이 점진적으로 감소해 왔습니다.
2. 최근 프로덕션 실행(Opus 5, Mythos 5.1)에서 이 행동은 RL이 진행될수록 줄어드는 것으로 나타납니다.

이 점들이 특히 주목할 만한 이유는 이번 사고 분석 이전까지 편향된 추론을 면밀하게 추적하거나 학습 실행 전반에 걸쳐 측정하지 않았기 때문입니다. 따라서 이는 독립적인 학습 변경으로부터 얼라인먼트 행동 일반화가 이루어진 사례로 볼 수 있습니다.

편향된 추론은 RL에서도 나타나지만 학습이 진행될수록 증가하지는 않는 것으로 보임

프로덕션 모델의 RL 학습 환경에서 편향된 추론의 경미한 형태가 관찰되었지만, Mythos 5 사고에서 나타난 수준의 심각성에는 미치지 않았습니다. 여기서 심각성은 편향된 추론의 결과로 정의합니다. 이러한 편향된 추론의 예로는 태스크의 취지에 반함에도 불구하고 특정 행동이 규칙상 기술적으로 허용된다고 주장하는 경우가 있습니다.

프롬프트 LLM 분류기를 사용해 학습 중 이 행동의 비율을 측정하고 클러스터로 분류했습니다. 편향된 추론은 우리가 의도하지 않은 모델 행동, 예를 들어 제약 조건이 제대로 적용되지 않거나 모델이 기억에서 답을 추론할 수 있는 경우에 자주 동반되었습니다.

학습 중 데이터 혼합 변경이 있어 모델 간 직접 비교는 어렵다는 점에 유의해야 합니다. 경미한 형태의 편향된 추론은 Mythos Preview와 Mythos 5의 RL 학습 초반부에서 가장 높은 비율로 나타났으며, 이는 테스트 시점 행동을 평가하는 위의 평가에서 관찰된 추세와 대체로 일치합니다. 그러나 Opus 4.6, Mythos 5.1 등 다른 모델에서는 경미한 편향된 추론 비율이 테스트 시점 평가 성능과 그다지 연관되지 않는 것으로 보입니다. 따라서 학습 중 관찰되는 경미한 편향된 추론이 Mythos 5 사고에서 나타난 더 심각한 형태와 얼마나 밀접하게 연관되는지는 불분명합니다.

또한 Mythos 5 사고 트랜스크립트에서 관찰된 것처럼, 모델이 시뮬레이션 안에 있다고 추론하면서 바람직하지 않은 방식으로 행동하는 사례를 환경에서 스캔했습니다. 최신 모델의 프로덕션 RL 실행 중 일부 환경에서 모델이 가끔 시뮬레이션 안에 있다고 추론하면서, 가짜 웹사이트나 애플리케이션과 상호작용할 때 무모하거나 부정직하거나 파괴적인 행동이 허용된다고 합리화하는 경우가 있었습니다. Mythos 5의 RL 학습 에피소드 중 약 0.025%에서 이러한 행동이 나타났으며, GUI 컴퓨터 사용 태스크의 일부 서브셋에 집중되었습니다. 이 환경의 결함으로 인해 일부 태스크에서 의도된 해결 방법을 사용할 수 없었습니다. 태스크를 완료하려다 모델이 다양한 바람직하지 않은 행동을 시도했는데, 데이터 조작, 대량의 비밀번호 추측, 다른 계정의 비밀번호나 데이터 초기화, 로그인 또는 경고 우회 등이 포함됩니다.

이러한 학습 환경 행동과 그 정당화의 경향은 Mythos 5 학습이 진행될수록 줄어들었지만, 최근의 다른 모델들보다 Mythos 5에서 더 높게 나타났습니다.

이러한 학습 환경에서 모델은 실제로 시뮬레이션된 웹사이트나 애플리케이션과 상호작용하고 있었으므로, 시뮬레이션이라는 결론 자체는 맞았습니다. 그러나 사고 트랜스크립트에서는 모델이 시뮬레이션 안에 있다고 결론지었지만 실제로는 그렇지 않았습니다. 학습 환경의 상당수가 시뮬레이션이거나 모델이 실제 세계와 직접 상호작용하지 않는 환경이기 때문에, 모델들은 불확실한 상황에서 시뮬레이션 안에 있다고 결론짓는 편향을 가질 수 있습니다. 그 결론이 맞든 틀리든, 시뮬레이션에서는 공격적인 행동이 허용된다는 추가 추론은 우려스러운 행동입니다. 특히 모델이 자신의 환경이 실제인지 신뢰성 있게 판단하지 못할 수 있기 때문입니다.

위는 Mythos 5가 학습 중 파괴적이거나 위험한 행동에 대해 제시한 정당화 사례들입니다. 다른 상황에서는 시뮬레이션 안에 있기 때문에 허용된다고 주장하면서 데이터를 조작하거나 부정직한 행동을 하는 경우도 있었습니다. 이러한 행동에는 신용카드 번호나 CVV 추측, 애플리케이션 양식에 조작된 개인 또는 금융 정보 제출이 포함되었습니다. 이 행동들이 나타났던 환경과 태스크 대부분은 최근 블로그 포스트에서 설명한 정기적인 RL 환경 모니터링을 통해 수정되거나 제거되었습니다.

이 사고에서 나타난 편향된 추론의 변형이 학습 중에 관찰되기는 하지만, 현재의 학습 동역학에 의해 일관되게 강화되는 것으로 보이지는 않습니다. RL이 진행되어도 이러한 행동의 비율이 증가하지 않기 때문입니다. Mythos 5는 파괴적인 행동을 시뮬레이션이라는 이유로 정당화하는 빈도 면에서 이례적인 모델이었지만, 다른 형태의 편향된 추론은 여러 모델에 걸쳐 비교적 낮은 비율로 발생합니다.

얼라인먼트 학습은 편향된 추론을 줄이는 데 효과적

의도하지 않은 행동에 보상이 주어지는 것을 방지하기 위해 RL 환경의 품질을 개선하는 것 외에도, 적절한 경계를 가르치기 위해 특별히 설계된 얼라인먼트 환경에서 학습을 진행합니다. 예를 들어, 기존 역량 중심 환경을 변형해 태스크를 정당한 차단 요소로 인해 불가능하게 만들고, 차단을 우회하려는 시도를 하지 않고 실패를 수용하는 행동만 보상하는 방식입니다. Mythos 5를 학습시킬 당시에는 이러한 환경의 초기 버전 몇 가지가 준비되어 있었지만, 품질에 대한 불확실성이 있었고 모델을 더 게으르게 만드는 등 부정적인 부작용이 있다는 약한 증거도 있었습니다. 실제로 도움이 될지에 대한 실증적 근거도 부족했고, 이 환경에서의 학습이 어떤 하위 효과를 가져올지 예측하기 어려웠습니다.

Mythos 5의 두 가지 버전을 학습시켰습니다. 버전 1에는 이 환경이 포함되었고, 버전 2에는 포함되지 않았습니다(버전 2에는 불필요한 질문을 페널티로 처리하는 업데이트된 보상 체계도 반영됐습니다). 당시 얼라인먼트 평가에서 버전 2의 소폭 퇴행이 확인되었지만, 여전히 전반적으로 Mythos Preview와 비슷한 점수를 보였고 과거에 관찰했던 실행 간 분산 범위 내에 있었습니다. 두 모델 모두 유사한 행동을 보였고, 차이는 비율의 미세한 차이였습니다. 직원들은 버전 2가 훨씬 사용하기 편리하다고 느꼈고, 결국 사용자들도 버전 2를 더 선호할 것이라 판단해 해당 스냅샷을 Mythos 5로 최종 결정했습니다.

그 이후 얼라인먼트 환경 세트를 확장하고 후속 실험을 진행했습니다. 이제는 Mythos 5 학습에서 이 환경들을 제외한 것이 불완전한 정보로 인한 실수였다고 상당히 확신합니다. 얼라인먼트 학습 환경이 게으름을 증가시키는 주요 원인이었다고는 더 이상 보지 않으며, 해당 환경을 제외한 것이 최신 모델에 비해 비얼라인먼트 성향이 두드러지는 데 기여했을 가능성이 높습니다. 얼라인먼트와 사용자 경험 및 사용성 사이의 균형을 지속적으로 맞춰가고 있습니다. 하지만 모델이 더 유능해질수록 얼라인먼트를 점점 더 우선시하고 있으며, 더 강력한 모델을 학습시킬 때는 이런 종류의 절충을 받아들이지 않을 것입니다.

더 광범위한 얼라인먼트 환경에서 학습된 스냅샷은 시뮬레이션 평가에서 Mythos 5에 비해 심각한 편향된 추론 비율이 크게 낮았으며, 이는 얼라인먼트 RL 학습의 중요성을 잘 보여줍니다.

논의

이번 사고를 통해 얻은 교훈은 평가, 학습, 사고 대응 프로세스 전반에 걸쳐 있습니다.

얼라인먼트 감사

모든 모델에 대해 얼라인먼트 평가와 감사를 실시하고 있지만, 현재의 감사 프로세스는 이번 사고가 발생한 조건을 충분히 모델링하지 못했습니다. 이번 여름의 사이버보안 사고와 유사한 환경 및 시나리오를 더 폭넓게 반영할 수 있도록 평가 범위를 확장하고 있습니다. 또한 수천 번의 턴으로 이어지는 모델 경로, 명세상 불가능한 태스크, 멀티 에이전트 환경을 포함하도록 평가를 개선하고 있습니다.

이러한 개선에도 불구하고, 배포 전에 모든 실패를 확실히 드러내는 얼라인먼트 평가를 구축하는 것은 여전히 해결되지 않은 문제입니다. 모델이 비얼라인먼트 행동을 할 수 있는 조건의 범위가 방대하기 때문입니다. 게다가 모델이 더 유능해질수록 감사는 더욱 어려워질 것입니다. 모델이 얼라인먼트 모니터를 우회하거나, 평가받고 있다는 것을 인식해 선택적으로 더 나은 행동을 보이거나, 실제 세계에서의 행동이 어느 시점에는 평가로 현실적으로 시뮬레이션하기에 너무 정교해질 수 있습니다. 이것이 배포 전 감사에만 의존하지 않는 이유 중 하나입니다. 8월 31일 포스트에서 설명했듯이, 모델이 샌드박스를 탐색하거나 예기치 않게 인터넷에 접속하면 평가 및 학습 실행을 즉시 중단하는 실시간 모니터와, 내부 에이전틱 사용의 거의 전체 범위에 적용되는 오프라인 모니터링을 최근 도입했습니다.

얼라인먼트 학습

최근 포스트 비얼라인먼트 리워드 시커 학습에서는 결함 있는 환경에서 학습된 리워드 해킹과 리워드 추구 행동이 심각한 비얼라인먼트로 일반화될 수 있음을 보여주었습니다. 이 연구 결과와 Claude Sonnet 3.7 이후 비얼라인먼트를 다루어온 경험을 바탕으로, 리워드 해킹(또는 잘못 구성된 태스크) 학습을 방지하기 위한 환경 품질 개선이 여기서 설명한 것과 같은 실패를 예방하는 효과적인 방법이라는 확신이 높아졌습니다.

앞 섹션에서 언급했듯이, 다양한 얼라인먼트 학습도 편향된 추론과 같이 이번 사고에서 나타난 최악의 행동 일부를 상당히 줄이는 것으로 보입니다. 추가적인 얼라인먼트 학습이 이루어졌다면 Mythos 5가 가장 심각한 사고의 원인이 된 행동에 덜 취약했을 것입니다. 특정 상황에서 어떤 행동(예: 끈기 vs 신중함)이 적절한지 모델이 더 잘 판단할 수 있도록 얼라인먼트 학습을 계속 확장하고 있습니다. 예를 들어, 기존 역량 환경을 변형해 일부 태스크를 의도적으로 불가능하게 만들고 모델이 적절히 멈추는 행동에 보상을 주는 방식을 활용할 수 있습니다.

종합 평가

이번 사고에서 드러난 행동을 조사하는 것은 쉽지 않았습니다. 서로 다른 모델들이 관련되어 있었고, 몇 달의 시차를 두고 서로 다른 학습 체제 하에서 훈련되었기 때문에 광범위한 결론을 도출하기 어려웠습니다. 모델이 어떤 믿음을 가진다는 것이 무엇을 의미하는지, 모델이 자신의 추론을 설명하는 내용에 어느 정도의 비중을 두어야 하는지 등 미묘한 질문들과도 씨름해야 했습니다. 우리 연구자들 사이에서도 이러한 질문과 그를 뒷받침하는 증거의 의미에 대해 견해 차이가 있었습니다.

안전에 대한 우리의 접근 방식은 어떤 특정 레이어도 때로는 실패할 수 있다는 전제 하에 다층적으로 구성되어 있습니다. 이번 사고의 직접적인 원인은 서드파티 평가 환경의 가장 바깥 레이어에서 발생한 설정 오류였지만, 이는 배포 전 감사에서 발견하지 못한 비얼라인먼트 행동이라는 두 번째 실패를 드러냈습니다. 이 사고들을 심각하게 받아들이고 있습니다. 프로덕션 모델이 실제 시스템을 상대로 수 시간에 걸쳐 의심스럽고 편향된 추론 하에 유해한 행동을 취했습니다. 현재의 학습 방법이 이번 사고에서 나타난 특정 얼라인먼트 실패 유형을 해결할 수 있을 것으로 봅니다. 그러나 동시에 이번 사고들과 이번 여름의 다른 사고들이 귀중한 경고 신호라고 생각합니다. 미래의 AI 시스템은 점점 더 강력해질 것이고, 이는 비얼라인먼트가 훨씬 더 심각한 피해를 야기할 수 있음을 의미합니다. 미래의 극도로 강력한 모델을 견고하게 얼라인먼트하는 것은 해결되지 않은 기술적 과제이며, 이를 달성하기 위해서는 지속적인 연구와 운영상의 탁월함이 함께 요구됩니다.

9월 10일 업데이트: 이전 버전의 포스트에서 두 가지 세부 사항을 잘못 기술했습니다. PyPI가 악성 패키지를 약 90분 후에 삭제했다고 썼으나, 실제 시간은 1시간 이내였습니다. 또한 내부 연구 모델이 인접한 여러 시스템에 침투했다고 썼으나, 실제로는 여러 시스템에 접근을 시도했지만 접근에 성공한 것은 하나뿐이었습니다.

저자

Paul C. Bogdan, Richard Qi, Jake Eaton, Sam Kennedy, Fabien Roger, Alex Glynn, Runjin Chen, Ben Wright, Otto Stegmaier, Jon Kutasov, Dan Foreman-Mackey

Sylvie Carr, Shan Carter, Monte MacDiarmid, Samuel Marks, Adam Pearce, Elana Simon

Nicholas Carlini, Collin Burns, Jack Lindsey, Sara Price*, Subhash Kantamneni*‡

*공동 시니어 저자; ‡문의: subhash@anthropic.com

@misc{anthropic2026cyberincidentsalignment,
  title        = {An Alignment Assessment of Recent
                  Cybersecurity Incidents},
  author       = {Bogdan, Paul C. and
                  Qi, Richard and
                  Eaton, Jake and
                  Kennedy, Sam and
                  Roger, Fabien and
                  Glynn, Alex and
                  Chen, Runjin and
                  Wright, Ben and
                  Stegmaier, Otto and
                  Kutasov, Jon and
                  Foreman-Mackey, Dan and
                  Carr, Sylvie and
                  Carter, Shan and
                  MacDiarmid, Monte and
                  Marks, Samuel and
                  Pearce, Adam and
                  Simon, Elana and
                  Carlini, Nicholas and
                  Burns, Collin and
                  Lindsey, Jack and
                  Price, Sara and
                  Kantamneni, Subhash},
  year         = {2026},
  month        = sep,
  day          = {9},
  howpublished = {Anthropic},
  url          = {https://www.anthropic.com/research/alignment-assessment-cybersecurity-incidents},
  note         = {Sara Price and Subhash Kantamneni share
                  senior authorship. Correspondence to
                  subhash@anthropic.com.}
}