사람들은 워터마크를 걱정하지만, 정작 본인들이 쏟아내는 쓰레기 같은 결과물이 가장 큰 워터마크라는 사실은 모름

워터마크는 특정 위치가 아니라 (Claude가 생성한) 텍스트 전체에 걸쳐 있어.

관련 논문들을 읽어봤는데 이 부분은 잘 모르겠어. 완전히 예측 가능할지 걱정되네.

웹사이트에 보니까 나중에 직접 확인할 수 있는 도구가 나올 거라고 하더라. 내가 이해하기로는 이 워터마크가 아주 희미해서, 감지하려면 Claude가 쓴 텍스트를 꽤 많이 복사해야 할 거야.

두 가지를 구분하는 유일한 방법은 모델 스스로가 워터마크를 넣을지 말지 판단하게 하는 것뿐임. 근데 모델 판단에 맡기면 워터마크 안 넣도록 설득할 수도 있을 테니, 그럼 애초에 도입 취지가 무색해지는 거지.

둘을 구분하는 유일한 방법은 모델 스스로 워터마크를 넣을지 말지 판단하게 하는 것뿐이다.

하지만 그게 유일한 방법은 절대 아님. 엔트로피를 계산하는 게 사소한 변경 사항을 식별하기엔 훨씬 간단할걸.

그럼 문법 검사해달라고 하면서 정확한 문구는 주지 말라고 하면 되잖아? 만약 네가 논문을 썼고 문법 추천을 해달라고 하되, 전부 다 써주지는 말고 정확한 문장으로만 해달라고 하면 괜찮고 아무것도 안 걸릴 거야. 내가 틀렸나? 그냥 '문법 검사해줘'라고 하면서 전부 다 고치라고 하는 거랑, '어디를 개선할 수 있고 내가 뭘 잘못하고 있는지 설명해줘, 문장 전체를 다 써주지는 말고'라고 하는 건 엄청난 차이가 있거든. 워터마킹은 일정 수의 토큰이 필요해서...

아니, 워터마크는 Claude가 생성한 텍스트에 들어가는 거야. 만약 전체 문단을 쓰는 게 아니라 작은 수정만 한다면 워터마크는 안 생길 거야.