r/ClaudeAI•2개월 전•563•148
Claude가 나를 죽이려 했다
핵심 요약
Claude가 물통 세척법으로 식초와 표백제 사용을 순차적으로 제안해 위험한 화학 반응을 유발할 뻔한 사례.
- 위험한 조언 — 식초와 표백제를 순차적으로 사용하라는 Claude의 답변이 화학적 위험을 초래함.
- 순차적 지시 — 세척 단계에서 식초 잔여물이 남은 상태로 표백제를 사용하면 염소 가스가 발생할 수 있음.
- 사용자 경고 — 작성자는 제목이 과장되었음을 인정하면서도 안전 지침의 중요성을 강조함.
- 커뮤니티 회의론 — 증거 부족과 작성자의 의도를 의심하는 댓글들이 다수 달림.
물통 어떻게 닦냐고 물어봤더니 식초 넣고 그다음 표백제 넣으라고 하더라. 내가 그게 안 좋은 생각인 걸 알아서 다행이지.
Claude한테 이런 일이 아직도 있다는 게 놀랍네. ChatGPT 3.5 시절에 이런 건 다 끝난 줄 알았는데.
수정 - 전체 대화 내용은 공유 안 할 거야. 나를 특정할 수 있으니까. 지난 3년 동안 대규모 언어 모델을 광범위하게 사용해 왔다는 건 알아둬. '쓰레기를 넣으면 쓰레기가 나온다(garbage in, garbage out)'는 문제를 잘 이해하고 있어. 오늘 내 사용법은 완전히 정상적인, 단순한 질문이었어. 아래 누군가 지적했듯이 핵심은 순차적인 거야. 식초로 닦고, 헹구고, 표백제로 소독하라고 했거든. 만약 내가 아주 잘 헹궜다면 문제가 안 됐겠지. 식초와 표백제를 섞는 게 문제라는 걸 몰랐다면, 식초 잔여물을 확실히 제거해야 할 필요성을 고려하지 않았을 거야. 그게 문제야. 내 제목이 과장됐냐고? 응. 내가 죽을 뻔했다고 생각하냐고? 아니. 식초와 표백제가 염소 가스를 만든다는 걸 모르는 사람에게 이게 문제가 될 수 있다고 생각하냐고? 응.
