Claude가 워터마크 우회를 막는 안전장치를 가지고 있을까?
Claude may have safe guards to prevent you getting around watermarks?
핵심 요약
Claude의 워터마크 우회 시도 중 발생한 차단 현상과 그 원인에 대한 분석 및 토론.
- 워터마크 우회 — 텍스트에 숫자 삽입 후 삭제하는 방식으로 워터마크 제거 시도함
- 안전장치 의혹 — 우회 시도 중 반복적인 API 오류와 세션 차단 현상을 경험함
- 분류기 오작동 — 워터마크 방지보다는 프롬프트 인젝션이나 탈옥 시도로 오인했을 가능성 제기됨
- 사용자 정보 보호 — 댓글 작성자들은 포스트에 노출된 개인정보(이름) 삭제를 권고함
Claude한테 값이랑 숫자를 번갈아 가면서 쓰게 시킨 다음에 숫자만 지워버리면 워터마크가 사라짐 (https://arxiv.org/abs/2301.10226 에서 다룬 이모지 공격의 변형 버전임).
그냥 재미 삼아 예전에 작업했던 걸로 Claude한테 공격을 좀 해봤음 (스크린샷 참고). 당연히 텍스트만 살짝 수정해도 워터마크는 바로 날아감. 내가 너무 과하게 해석해서 다른 안전장치를 건드린 걸 수도 있긴 한데, 블로그에 글 쓰면서 분석을 좀 더 해봤음: https://readme.dm/watermarked/ 여기 공유하면 재밌을 것 같아서 올려봄.

