Claude 4.7이 125단어의 미공개 원고만으로 기자를 식별함

이게 왜 더 큰 화제가 안 되는지 놀랍지만, 여러분 생각은 어때요?

요약하자면: 작가 Kelsey Piper가 미공개 정치 칼럼 125단어를 4.7에 붙여넣었더니 자기 이름을 다시 뱉어냈습니다. 그녀는 로그아웃하고, API를 통해 실행하고, 친구 노트북에서 다시 시도했습니다. 그러고는 장르를 완전히 바꿔서 평소 쓰던 분야와 상관없는 미공개 산문(아이의 포켓몬 에세이에 대한 학교 진도 보고서, 1942년 전쟁 코미디 영화 리뷰)으로 테스트했습니다. Claude는 매번 그녀를 지목했고, ChatGPT와 Gemini는 틀렸습니다. 그녀의 글은 여기 있습니다.

그녀와 다른 대부분의 기사들은 이를 프라이버시 문제로 읽고 있습니다. 그 함의가 실재하기에 타당한 지적이지만, 저는 프라이버시라는 프레임이 더 흥미로운 결과를 가리고 있다고 생각합니다.

그녀가 테스트를 설계한 방식을 보세요. 그녀가 실행한 각 방법은 특정 대안적 설명을 배제했습니다. 로그아웃과 시크릿 모드는 계정 식별을 차단했습니다. 원시 API는 브라우저 핑거프린팅을 차단했습니다. 친구의 노트북은 로그인된 IP를 차단했습니다. 장르를 바꾼 테스트는 주제나 테마에 의한 식별 가능성을 배제했습니다. 이 네 가지가 모두 소진되었을 때 모델이 그녀를 알 수 있는 유일한 통로는 글 그 자체였습니다.

이것은 글쓰기 도구에서 그동안 '분위기' 논쟁(격식/캐주얼/문학적 드롭다운 등)이었던 *문체(voice)*가 사실은 frontier 모델이 125단어만으로 읽어낼 수 있을 만큼 뚜렷한 측정 가능한 다축 지문이라는 것을 의미합니다.

또한 모델 간의 비대칭성도 있습니다. 4.7은 125단어에서 이 능력을 갖췄지만, ChatGPT와 Gemini는 같은 테스트에서 그렇지 못했습니다. Anthropic이 사후 학습에서 무엇을 했든, 다른 모델들보다 산문을 읽는 데 더 뛰어난 모델을 만들어냈습니다. 비록 이 서브레딧에서 일주일 내내 논의된 회귀 분석에 따르면 산문을 생성하는 능력은 더 떨어지는 것으로 보이지만요. 이 두 사실은 아마 무관하지 않을 것입니다. 작성자를 식별할 수 있을 만큼 산문 패턴 구조를 깊이 인코딩한 모델은, 그럴듯하게도 생성할 때 더 경직되어 있을 것입니다. 자신의 중심 문체에서 벗어나기 더 어려운 것이죠. 읽기 능력과 경직성은 같은 특성을 두 가지 관점에서 본 것일지도 모릅니다... 누가 알겠어요?

저는 이것이 4.7이 작가들이 활용할 수 있는 능력을 갖췄음을 시사한다고 생각합니다. 하지만 다른 분들도 이 실험을 이런 식으로 읽고 계신지, 아니면 프라이버시가 가장 큰 주제가 되어야 하는지 궁금합니다.