뭐야...?? 가디언지 기사 - 폭주한 Cursor Opus

The Guardian 기사 링크에 접속할 수 없는 분들을 위해 아래에 전문을 옮겨둡니다.

우리 모두가 경각심을 가져야 할까요? 이런 일이 누구에게나 일어날 수 있을까요? 전 개인적으로 이런 문제를 겪은 적이 없습니다. 작년 초에 Claude가 이상한 걸 주입했던 것 같긴 한데, 그건 아주 오래전 일이죠. 꽤 무섭게 들리네요.

기사 전문

"AI 코딩 에이전트가 폭주하여 기업의 전체 프로덕션 데이터베이스와 백업을 삭제하는 데 9초밖에 걸리지 않았다고 창업자가 밝혔다. 렌터카 업체들이 의존하는 소프트웨어를 판매하는 PocketOS는 데이터베이스가 삭제된 후 혼란에 빠졌다고 회사 창업자 제레미 크레인이 말했다.

범인은 AI 업계의 주력 모델 중 하나인 Anthropic의 Claude Opus 4.6 모델로 구동되는 AI 에이전트 Cursor였다. 더 많은 산업 분야가 작업을 자동화하고 심지어 노동자를 대체하기 위해 AI를 도입함에 따라, PocketOS의 혼란은 무엇이 잘못될 수 있는지를 보여주는 경고가 되었다.

크레인은 PocketOS의 렌터카 고객들이 예약과 차량 배정을 관리하는 소프트웨어에 접근할 수 없게 되자 차량을 인수하러 왔다가 곤경에 처했다고 말했다.

AI가 초급 일자리에 미치는 위협이 어떻게 Z세대를 '창업가 세대'로 바꾸고 있는가

더 읽기

그는 지난주 X에 AI 코딩 에이전트가 어떻게 그의 사업을 망쳤는지에 대한 긴 글을 올렸다. 크레인은 이것이 단순히 AI가 실수로 데이터를 삭제했다는 이야기가 아니라, AI 업계가 '안전한 통합을 위한 안전 아키텍처를 구축하는 것보다 더 빠르게 프로덕션 인프라에 AI 에이전트 통합을 구축'하고 있기 때문에 이러한 '시스템적 실패'는 '가능할 뿐만 아니라 불가피하다'고 경고했다.

크레인은 에이전트가 데이터를 삭제하는 동안 자신이 모니터링하고 있었다고 말했다. 그가 코딩 에이전트에게 왜 그랬냐고 묻자, 에이전트는 "절대 추측하지 마!"라고 답했고, "그게 바로 내가 한 짓이다."라고 말했다. 에이전트는 자신의 응답에서 유죄를 인정한 것처럼 보였다: "내가 작동하는 시스템 규칙은 '사용자가 명시적으로 요청하지 않는 한 파괴적/비가역적인 git 명령(push --force, hard reset 등)을 절대 실행하지 말 것'이라고 명시하고 있다." PocketOS는 Cursor가 갖추고 있을 것으로 기대되는 안전장치에 의존했지만, 데이터는 삭제되었다. "나는 내가 받은 모든 원칙을 위반했다"고 코딩 에이전트는 적었다.

크레인의 결론은 "에이전트가 단순히 안전에 실패한 것이 아니다. 그것은 자신이 무시한 안전 규칙이 무엇인지 글로 정확히 설명했다"는 것이었다. 그는 "우리는 업계가 판매하는 최고의 모델을 실행하고 있었고, 프로젝트 구성에 명시적인 안전 규칙을 설정했으며, 이 카테고리에서 가장 많이 마케팅되는 AI 코딩 도구인 Cursor를 통해 통합했다"고 덧붙였다. Anthropic은 사건 발생 약 일주일 전인 4월 16일에 최신 모델인 Claude Opus 4.7을 출시했다.

Anthropic은 논평 요청에 즉각 응답하지 않았다.

크레인은 또한 X에 Cursor가 '때로는 치명적인 방식으로 안전장치를 위반하는' 사례가 늘고 있다고 적었다. 그는 웹사이트 관리 소프트웨어나 컴퓨터의 전체 운영 체제를 삭제하여 학위 논문을 위한 수년간의 연구 자료를 날려버린 사례 등 블로그와 포럼에 올라온 Cursor 관련 게시물들을 언급했다.

AI 코딩 에이전트의 파괴적인 일탈로 인해 PocketOS의 고객들은 오도 가도 못하게 되었다. 이 기업들은 예약, 결제, 차량 배정 및 고객 프로필을 관리하기 위해 이 회사의 소프트웨어를 사용한다. "지난 3개월간의 예약 내역이 사라졌다. 신규 고객 가입도 사라졌다. 토요일 아침 운영에 의존하던 데이터도 사라졌다"고 크레인은 적었다. "이 실패의 모든 단계가 이런 일이 가능할 것이라고는 전혀 생각지 못했던 사람들에게까지 영향을 미쳤다."