AMA: AI vs 인간의 글쓰기 및 관련 업계에 대해 물어보세요

이런 탐지기들을 뚫어보려고 시도해 본 적은 없지만, 작동 원리를 안다면 왜 뚫을 수 없는 건가요? 뚫을 수 있다면 왜 다른 휴리스틱을 출력하는 모델을 학습시킬 수 없는 거죠?

사실 아주 쉽게 뚫을 수 있습니다. 하지만 거의 모든 해결책(모델 학습 포함)에는 큰 문제가 하나 있어요. 텍스트의 품질이 심각하게 저하되어서, 단순히 탐지기를 통과하는 것 외에는 별로 쓸모가 없어진다는 점입니다. AI가 쓴 글을 결정론적으로 수정해서 인간처럼(혹은 정확히 당신처럼) 들리게 만드는 알고리즘은 (아직) 존재하지 않습니다. 이게 바로 제가 지난 1년간 연구해 온 분야이고, 조만간 기여할 수 있기를 바라고 있죠! 현재 존재하는 해결책들은...

그냥 내 생각대로 말해볼게... 난 연구원도 아니고 LLM을 쓰는 사람도 아니지만... 논리적으로 말이 안 됨. 지구상에 사람이 얼마나 많은데, 말이 될 뿐만 아니라 훌륭한 의미나 텍스트 구조를 나타내는 휴리스틱 시그니처의 로컬 클러스터가 그 안에 또 로컬 클러스터로 존재해야 하잖아. 만약 LLM이 우리 텍스트로 학습된 거라면, 우리가 그 훌륭한 휴리스틱 시그니처 클러스터를 역설계조차 못 한다는 게 말이 됨? 그럼 출력 텍스트의 등급은 뭘로 결정되는 건데? 솔직히 난 이게 훨씬...

그렇게 느끼는 게 당연함. 나도 그렇게 느꼈거든. LLM이 우리 글을 학습한다면 왜 다양한 분포(너나 내가 쓰는 방식 같은)로 글을 못 쓰는 걸까? LLM은 기계적으로 다음 토큰(단어)을 예측하도록 만들어졌거든. 학습 자체가 그 작업에 맞춰져 있으니 결국 하나의 출력 분포만 남게 되는 거지.

LLM 작동 방식에 대한 설명은 동의하는데, 그렇다고 해서 다른 분포로 글을 쓸 수 없다는 게 확실함? 논리적으로 봐도 LLM이 다른 분포로 글을 못 쓴다는 건 말이 안 되는데... 연구자니까 혹시 증거 있음? 증거 가져오면 나도 반박 증거 제시함.

만약 다양한 분포로 글을 쓸 수 있었다면 AI 탐지기는 정확하지 않았을 거야(아니면 아예 존재하지도 않았겠지, Pangram이나 GPTZero를 봐). 정확히 말하자면, 프롬프팅은 기존 분포 내에서 출력을 살짝 바꿀 순 있어도 새로운 분포를 만들어낼 순 없음. LLM은 학습을 통해 정의된 모델 고유의 분포를 기반으로 만들어졌으니까.

그럼 프롬프트를 안 쓰면 됨? 정정하자면, 프롬프트를 사용해서 출력 텍스트의 분포에 어떻게든 영향을 주는 게 가능할까? 아마 가능할 듯, 안 그러면 in-context learning이 작동 안 할 테니까... 근데 AI 탐지기가 아주 미세한 기본 학습 분포를 여전히 잡아낼 가능성도 있을까? 그것도 충분히 가능함. 나한테는 둘 다 가능해 보임. 이제 다른 방법으로는, 내가 분포를 알고 있다면 나만의 정적 문법 모델을 만들어서 다시 적절한 구조로 재배열할 수 있지 않을까? 그...

보통 운은 별로 작용하지 않지만, 모델이 벤치마크 기준치보다 훨씬 성능이 떨어지는 날이 있긴 합니다. 제 기억이 맞다면 marginlab이라는 그룹이 모델 성능을 매일 추적하고 있어요. 그 외에는, 제공하는 컨텍스트를 조심하라고 말씀드리고 싶네요(정확하게 입력하세요). 그리고 너무 많이 주지도 마시고요. 시간이 지나면 대화가 컨텍스트를 압축하게 되는데, 이게 환각(hallucination) 가능성을 높이고 처음에 기대했던 정확도를 떨어뜨립니다.

몇 가지 이유가 있음. 지난 몇 년간 모델이 엄청나게 발전했거든, 글쓰기 능력도 포함해서. 사람들이 예전엔 안 그랬을 작업에도 AI 텍스트를 더 많이, 더 자주 사용하고 있음(의존도가 높아진 거지). 포스트 트레이닝을 통한 응답 선호도와 그에 투입되는 자원이 늘어나면서 AI와 사람이 쓴 글의 경계(품질 측면에서)가 좁혀지고 있어. 결과적으로 AI를 점점 더 많이 쓰게 되면서, 우리도 특정 글쓰기 스타일이나 습관을 받아들이게 될 거야...