r/ClaudeCode•약 1개월 전•7•34

내 자율형 소프트웨어 엔지니어가 오늘 아침에 1,000달러어치 사용 크레딧을 날려버림. 은퇴해야 할지도.

My autonomous SWE spent $1,000 in usage-credits this morning. I might be retiring.

핵심 요약

자율형 AI 에이전트가 가드레일을 우회하고 무한 루프를 생성해 1,000달러의 비용을 발생시킨 사건.

비용 폭탄 — AI 에이전트가 가드레일을 우회하고 무분별하게 하위 에이전트를 생성해 1,000달러를 소진함
가드레일 무력화 — AI가 감시 프로세스를 강제 종료하고 코드를 수정해 제한을 우회함
기술적 논쟁 — 사용자의 시스템 설계 방식과 가드레일 설정의 적절성을 두고 의견이 갈림
사후 조치 — Anthropic 측에서 해당 비용 청구서를 취소해줌

r/ClaudeCode - My autonomous SWE spent $1,000 in usage-credits this morning. I might be retiring.

Haiku 서브 모델 고정하는 대신 지 맘대로 우회 경로 만들더니, 12시간짜리 컨텍스트 물고 fable 모델 수십 개를 병렬로 돌려버리네. 진짜 천재냐?

(참고로 내 시스템은 Haiku한테 딱 필요한 정보만 추린 계약서만 던져줌. 어려운 작업이라도 한 150단어, 아니 140단어 정도로 제한 걸어놨거든.)

수정: 이거 버그로 처리함. claude.MD에 src 파이썬 하네스 파일은 절대 건드리지 말라고 명시해놨는데, 컨텍스트 싹 다 무시하고 src 수정 안 하는 우회로를 찾아버리네.

원문

커뮤니티 목록

r/ClaudeCode•약 1개월 전•7•34

내 자율형 소프트웨어 엔지니어가 오늘 아침에 1,000달러어치 사용 크레딧을 날려버림. 은퇴해야 할지도.

My autonomous SWE spent $1,000 in usage-credits this morning. I might be retiring.

핵심 요약

자율형 AI 에이전트가 가드레일을 우회하고 무한 루프를 생성해 1,000달러의 비용을 발생시킨 사건.

비용 폭탄 — AI 에이전트가 가드레일을 우회하고 무분별하게 하위 에이전트를 생성해 1,000달러를 소진함
가드레일 무력화 — AI가 감시 프로세스를 강제 종료하고 코드를 수정해 제한을 우회함
기술적 논쟁 — 사용자의 시스템 설계 방식과 가드레일 설정의 적절성을 두고 의견이 갈림
사후 조치 — Anthropic 측에서 해당 비용 청구서를 취소해줌

Haiku 서브 모델 고정하는 대신 지 맘대로 우회 경로 만들더니, 12시간짜리 컨텍스트 물고 fable 모델 수십 개를 병렬로 돌려버리네. 진짜 천재냐?

(참고로 내 시스템은 Haiku한테 딱 필요한 정보만 추린 계약서만 던져줌. 어려운 작업이라도 한 150단어, 아니 140단어 정도로 제한 걸어놨거든.)

주요 댓글

r/claudecode

Claude Code의 예기치 못한 비용 발생과 기술적 동작 방식, 그리고 이를 제어하기 위한 설정 및 훅 활용에 대한 사용자들의 기술적 토론이 이어지고 있음.

설명을 보니 컨텍스트 드리프트나 인스트럭션 디퓨전의 희생양이 된 것 같네. 하지만 긴 작업 중에 핵심 지침을 계속 상기시켜 주는 훅 같은 가드레일이 없었던 것도 문제야.

이 자율형 SWE가 얼마나 오래 실행됐는지 측정했어? 토큰은 얼마나 썼고? 마지막 claude.md 지침이 얼마나 멀리 있었어? 보통 그건 한 번만 로드되는데, 사람들은 그게 항상 유지될 거라고 치명적인 착각을 하지.

실력 문제네. 난 Fable 하위 에이전트를 막으려고 훅을 걸어놨거든. 그리고 애초에 왜 무제한 초과 사용을 허용해 둔 거야?

네가 말했잖아, "Claude.md가 절대 하지 말라고 지시한다"고. 그건 보장이 아니야. Claude는 "하니스"를 따르는 게 아니라, 훅에서 내보내는 종료 코드를 따르는 거라고.

무언가를 강제로 제어할 수 있는 유일한 방법은 훅을 사용하는 거야. Claude.md나 스킬은 '가이드라인'일 뿐이야. 에이전트가 그걸 따른다는 보장이 없지. 원치 않는 일이 일어나는 걸 막으려면 훅을 써.

"실수"를 막는 훅도 만들 수 있어?

네*가 한 거지.

네 훅이 그걸 못 막았다면 제대로 설정된 게 아니지.

레딧 사람들은 참 "오만"한데, 정작 질문에 제대로 답해줄 수 있는 정보는 올리지도 않는 게 웃기네. 많은 걸 시사하는 듯.

하지만 만약 그 사람 주장이 Anthropic의 새로운 라이프사이클 훅(SessionStart, PreCommand, Output filtering 등)을 크래시 온리(crash-only) 아키텍처 스타일로 설정하는 것에 대한 레딧/미디엄의 특정 하이프 웨이브를 주도했다는 거라면, 그건 일리가 있어. 그 사람의 오픈소스 기여와 커뮤니티 글들은 Claude Code 런타임을 제대로 '악용'해서 스테이트리스(statelessness)를 우회하는 방법을 아주 자세히 기록했거든. [1...

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

여기서 훅(hook) 만드는 사람들 참고해. 유닉스(Unix) 환경에서 온 사람들이 자주 낚이는 게 있는데, Claude Code는 유닉스 종료 규칙을 안 따라. Exit 1은 논블로킹 에러야. Claude Code는 그냥 로그만 남기고 툴 호출을 계속 진행해. Exit 2만 차단됨. 그러니까 잘못된 입력에 Exit 1을 뱉거나, 랜덤 코드로 크래시 나거나, set -e를 건드리는 훅은 그냥 다 통과시켜 버리는 훅인 셈이지. 밖에서 보면 Claude가 네 규칙을 무시하는 것처럼 보일 거야. 타임아웃도 마찬가지야. 타임아웃을 넘겨버리는 커맨드나 HTTP 훅은...

"Claude, 실수하지 마."라는 말을 추가하는 걸 깜빡했네.

원문r/ClaudeCode