AI 탐지 도구, 정말로 ChatGPT 콘텐츠를 잡아낼 수 있을까?
Can AI detectors actually detect ChatGPT content?
핵심 요약
여러 AI 탐지 도구들이 같은 텍스트에 대해 상반된 결과를 내놓으면서, 실제 성능과 신뢰성에 대한 의문이 제기되고 있습니다.
- 탐지 도구 신뢰성 — 같은 텍스트에 대해 도구마다 결과가 달라 신뢰하기 어려움.
- 탐지 방식의 한계 — 문장 구조나 예측 가능성 등 패턴 기반 탐지는 인간의 글도 오탐지함.
- 도구별 성능 차이 — WalterWrites 등 일부 도구는 상대적으로 유연한 결과를 보여주기도 함.
- 모델의 진화 — AI 모델이 인간의 글쓰기 스타일을 모방하면서 탐지가 점점 더 어려워짐.
여러 AI 탐지 도구를 테스트해 보면서 토끼굴에 빠진 것 같은 기분인데, 솔직히 결과가 너무 제각각입니다.
똑같은 텍스트를 붙여넣어도 어떤 탐지기는 “AI 생성 확률 높음”이라고 하고, 다른 건 완전히 인간이 쓴 글이라고 합니다. 그래서 이 도구들이 실제로 ChatGPT를 탐지하는 건지, 아니면 아직 신뢰할 수 없는 패턴에 기반해서 추측만 하는 건지 혼란스럽습니다.
제가 이해하기로는 대부분의 AI 탐지기가 문장 구조, 예측 가능성, 글이 얼마나 “매끄러운지” 같은 것들을 봅니다. 하지만 문제는 노력해서 쓴 일반적인 인간의 글도 그렇게 보일 수 있다는 점입니다. 그래서 결국 실제 사람이 쓴 글까지 AI로 분류해 버리는 황당한 일이 생깁니다.
지금까지 시도해 본 AI 탐지 도구들은 다음과 같습니다:
WalterWrites AI detector – 다른 것들보다 좀 더 균형 잡혀 있다고 느껴집니다. 너무 공격적으로 분류하지 않고, 글이 깔끔하다고 해서 바로 AI라고 단정 짓지 않습니다.
GPTZero – 아마 가장 유명할 텐데, 붙여넣는 내용에 따라 정확도가 들쭉날쭉합니다.
Turnitin AI detection – 많은 학교에서 사용하지만, 어떤 기준으로 점수를 매기는지 불분명합니다.
Hive AI Detector – 콘텐츠 제작자용인데, 제가 보기엔 결과가 일관적이지 않습니다.
지금 시점에서는 AI 탐지 도구들이 아직 완성되지 않은 것 같습니다. 같은 텍스트에 대해 도구마다 다른 결과를 내놓으니, 그중 어느 하나도 100% 진지하게 받아들이기가 어렵습니다.
프롬프트 엔지니어링이나 LLM을 다루시는 분들은 어떻게 생각하시는지 궁금합니다. 이런 도구들이 실제로 나아지고 있는 건가요, 아니면 여전히 패턴 추측 단계에 머물러 있는 건가요?
