앤스로픽이 AI 안전의 정점에 도달했다: 클로드가 스스로로부터 클로드를 보호하는 중

오늘 Claude Code가 지 혼자 차단되는 바람에 5시간을 그냥 날려 먹었다. 좀 어이없는 이야기니까 들어봐라.

내 제품 만들면서 평범하게 개발하고 있었다. 탈옥 시도 같은 건 당연히 안 했고, 숨겨진 추론 과정 캐내려고 한 것도 아니다. 그냥 Claude Code로 코딩 좀 길게 한 게 다인데, 내가 돈 내고 쓰는 서비스가 이 모양이다.

잘 돌아가다가 갑자기 서브 에이전트 하나가 코드 리뷰 도중에 차단되더라. 이유는 "reasoning extraction(추론 추출)". 뭐, 오탐이겠거니 싶어서 넘어갔다. 근데 메인 세션이 그 실패한 서브 에이전트 결과물을 읽으려다가 똑같은 이유로 또 차단됨.

그래서 /clear 치고 새로 시작해서 다시 하라고 시켰다. 그랬더니 지가 하던 작업 내용 읽다가 또 차단되네? 내 프로젝트가 얼마나 위험한 건지 몰라도, Claude가 지가 하던 작업도 기억 못 하게 막아버리는 수준이다.

그래서 Claude한테 왜 자꾸 이러냐고 물어봤지. 결과는 뻔하지. 또 차단. 그러니까 필터가 정상적인 작업도 막고, 왜 막혔는지 확인하려는 시도까지 다 막아버리는 거다.

결국 세션 기록이랑 서브 에이전트 출력물, 실행 로그까지 다 뒤지느라 5시간을 썼다. 내가 파악한 바로는 Claude가 스스로 작성하는 작업 노트랑 진행 상황 요약이 문제인 것 같다. 난 Chain-of-thought를 요구한 적도 없고, 뭘 캐내려고 한 적도 없다. 그냥 Opus 5.5가 작업하면서 지 혼자 남기는 상태 업데이트가 문제라고.

난 그런 거 출력해달라고 한 적도 없다. 긴 세션 작업할 때 진행 상황 파일로 저장하라는 지침은 넣어뒀는데, 정작 그 파일들은 필터에 안 걸린다. 문제가 되는 건 Claude가 서브 에이전트 결과물에 지 맘대로 집어넣는 상태 텍스트다. Claude가 쓰고, Anthropic 필터는 그걸 누가 추론 추출하려는 걸로 오해해서 차단하는 꼴이지. Claude가 지 스스로를 신고하고 있는 거나 다름없다.

지난 1주일 반 정도 기록을 다 뒤져보니까 예전에도 비슷한 차단 기록이 꽤 있더라. 그때는 어떻게든 서브 에이전트들이 돌아가긴 했는데, 오늘은 그냥 다 같이 맛이 가버렸다. 서브 에이전트, 메인 세션, /clear 하고 새로 켠 세션까지 전부 다.

정확히 뭐가 트리거인지는 아직도 모르겠다. 근데 패턴은 확실히 보인다.

아, 그리고 이거 조사할 때 뭐 썼는지 아냐? Codex 썼다. 오해하지 마라, 나 OpenAI 팬 아니다. Codex 별로 안 좋아하고, 솔직히 OpenAI 모델들 내 취향도 아니라서 평소에 잘 안 쓴다. 근데 Claude는 지가 왜 차단됐는지 조사하려고만 해도 또 차단되니까, 어쩔 수 없이 평소에 쓰지도 않는 툴을 빌려다가 내가 좋아하는 툴을 디버깅한 거다. Codex도 근본 원인은 못 찾았지만, 적어도 나를 공격자로 취급하진 않아서 로그는 볼 수 있었다.

그러니까 이거 그냥 팬보이 징징거리는 거 아니다. 난 Claude 좋아해서 돈 내고 쓰는 거고, 그래서 더 빡치는 거다. Anthropic이 추론 추출이나 모델 증류 막으려는 건 이해한다. 근데 지금 하는 꼴을 보면 구멍 메꾸느라 급급해서 애꿎은 사용자들만 피 보고 있다. 코드 리뷰, 실패한 서브 에이전트 결과 읽기, 세션 재개, 심지어 오탐 조사까지 다 차단당했다. AI 안전을 최우선으로 내세우는 회사가 정작 자기네 보안 시스템이 정상적인 개발 작업이랑 추출 시도 구분도 못 한다는 게 참 아이러니하지 않냐. 제품은 좋은데, 이런 식으로 당하고만 있지는 않을 거다.

어쨌든 오늘 성공적으로 추출된 건 내 인생 5시간뿐이다.