AI 글쓰기처럼 들리는 특징을 파악하기 위해 레딧 게시물 약 9만 개를 분석해 보았다 (2부)

방법론:

나는 Arctic Shift 레딧 아카이브를 털었다. 2021년부터 2026년까지 47개 서브레딧(r/ChatGPT, r/WritingWithAI, r/SaaS, r/aiwars, r/ClaudeAI, r/Professors, r/Teachers 등)에 올라온 게시물 89,239개를 분석했다. AI 글쓰기 판별과 관련된 게시물만 추려내니 7,984개가 남았고, 이걸 AI 도구, 글쓰기, SaaS 세 분야로 나눴다. 아래 수치들은 전부 전체 게시물 대비 비율이지 단순 개수가 아니다. 2023년 이전에는 이 주제 자체가 거의 없었거든(2021년 26개, 2022년 86개). 그러다 2023년(587개), 2025년(3,174개)에 폭발적으로 늘어났으니 단순 개수로 따지면 그냥 서브레딧 규모 커진 거랑 다를 게 없어서다.

키워드만 때려 넣고 돌리면 이 주제는 제대로 집계가 안 된다는 점을 알아야 한다. 그래서 내가 직접 게시물 600개를 샘플링해서 사람들이 실제로 '이게 AI 글이다'라고 언급하는 게 뭔지, 단순히 패턴만 일치하는 건 뭔지 일일이 검수했다.

왜 모든 AI 글은 똑같은 말투로 수렴할까? 모든 모델이 채점자 입장에서 '잘 쓴 글'로 보이도록 안전하고 무난한 톤으로 튜닝되어 있어서, 결국 다들 똑같은 지점에 안착하는 거다. 한 댓글러가 이 현상을 딱 짚어 말했다. "ChatGPT는 특유의 리듬이 있어. 일단 그걸 알아채는 순간, 내용에는 집중이 하나도 안 돼. 애초에 사람 생각이 들어간 게 아니니까." (r/ChatGPT)

사람들이 실제로 가장 많이 언급하는 AI 글의 특징(순위):

상위 5개 특징 중 표에는 의도적으로 뺀 두 가지가 있다. 키워드로는 절대 못 잡는데, 검수 과정에서 사람들이 계속 언급한 것들이다. '아첨(sycophancy)'(예: "좋은 질문입니다!"로 시작하거나, 편들기를 무조건 거부하는 태도)은 '반대되는 리듬(antithesis cadence)'만큼이나 자주 언급됐다. '길게 말하지만 아무것도 안 말하기'(문법은 맞고 자신감 넘치는데 정작 주장하는 바는 없는 글)도 마찬가지다. 패턴 매칭 방식으로는 이런 걸 잡아낼 수 없어서 데이터 스캔할 때는 확인하지 못했지만, 분명히 존재하는 특징들이다.

데이터를 직접 검수하면서 바로잡은 몇 가지 사실이 있다. 단순 키워드 스캐너는 이 주제를 두 가지 면에서 완전히 잘못 짚고 있다. 첫째, 평범한 단어들을 지나치게 많이 잡아낸다. "however", "thus", "hence" 같은 단어는 전체 게시물의 6.3%에서 발견되어 키워드 매칭률 1위를 찍었지만, 정작 사람들이 AI 글의 특징으로 꼽은 비율은 0%였다. 그냥 사람들이 평소에 쓰는 말이니까. "nuanced", "comprehensive", "when it comes to", "utilize"도 마찬가지다. 단어 리스트로 탐지기를 만들면 이런 것들만 잔뜩 걸려드는데, 거의 다 오탐이다. 둘째, 실제 독자들이 가장 중요하게 생각하는 특징들, 즉 단조로운 리듬이나 유창하지만 텅 빈 문단 같은 건 아예 못 잡거나 과소평가한다. 단어 리스트로는 이런 걸 볼 수 없으니까. 결론은, 겉으로 드러나는 얄팍한 신호와 진짜 신호가 가리키는 방향이 다르다는 거다. 그래서 위 순위표가 키워드 기준이 아니라 사람들이 직접 언급한 기준으로 작성된 이유다.

여기서 짚고 넘어가야 할 꽤 타당한 반론이 하나 있는데, 이 문제들이 꼭 AI만의 문제는 아니라는 거야. 엠 대시(em dash)는 원래 좋은 타이포그래피 요소고, 격식 있는 말투나 깔끔한 구조는 꼼꼼한 사람들, 특히 학생이나 영어가 모국어가 아닌 사람들이 예전부터 써오던 방식이거든. 그러니까 이런 'AI스러운' 특징들은 AI가 나오기 전부터 이미 존재했어. 불행히도 바뀐 게 있다면, AI 덕분에 누구나 이런 글을 한꺼번에 쏟아내게 됐고, 그래서 원래부터 이렇게 글을 쓰던 사람들이 괜히 의심받고 있다는 거지. 한 교사가 올린 글 제목이 "내 학생들이 AI 검사기를 발견하더니 이제 자기 글쓰기를 무서워한다"였어. (r/Teachers) 또 다른 글쓴이는 "영어는 제 모국어가 아닙니다. 중국어로 쓴 뒤 AI 도움을 받아 번역했습니다. AI 느낌이 좀 날 수 있습니다"라고 먼저 밝히고는, 아주 날카롭고 독창적인 주장을 펼치기도 했지. (r/LocalLLaMA)

우리 대부분이 겪어봤겠지만, 리스트에 있는 항목들은 전부 모델한테 따로 지시하지 않았을 때 기본적으로 튀어나오는 습성들이야. 엠 대시는 빼버려. 부정문으로 돌려 말하지 말고 그냥 똑바로 말해. 문장 길이를 조절해서 메트로놈처럼 딱딱 끊기지 않게 리듬을 주고. 아부 떨지 말고 자기 입장을 확실히 밝혀. 축약형도 좀 쓰고. 서론-본론-결론이라는 틀에 박힌 구조 대신 논리에 맞춰서 글을 써봐. 데이터에서 가장 효과적이었던 해결책은 그냥 모델한테 말투를 맡기지 않는 거였어. 네가 평소에 어떻게 글을 쓰는지 제대로 된 샘플을 주고, 결과물을 소리 내서 읽어봐. 눈으로 보기 전에 귀가 먼저 리듬의 위화감을 잡아낼 테니까.

아래에 13개의 그래프와 그 기반이 된 표들을 첨부했어:

1. 언급된 순위: 각 'AI 특징'이 분석된 게시물에서 얼마나 자주 언급됐는지 보여줘. 엠 대시가 1위고, 스캐너로는 잡아내기 힘든 구조적 특징들이 그 뒤를 바짝 쫓고 있어.
2. 언급된 특징 vs 키워드 매칭: 두 신호에서 나타나는 동일한 특징들을 비교했어. 키워드 리스트가 특징을 과장하는 부분("however", "nuanced")과 놓치는 부분("as an AI", 구조적 특징들)이 어디인지 보여줘.
3. 키워드 순위: 주제와 관련된 7,984개 게시물 전체를 대상으로 광범위하게 어휘를 훑어본 건데, 좀 더 노이즈가 섞인 보조적인 관점이야.
4. 시간에 따른 증가 추세: 매년 전체 게시물 중 AI 글쓰기 특징이 언급된 비율이야. 2023년 이전엔 거의 없었지.
5. 연도별 특징 추이: 시간이 지나면서 나타난 주요 특징들. 엠 대시는 2024년 이전엔 거의 안 보이다가 갑자기 튀어 올라. 데이터에서 가장 확실하게 전후가 갈리는 부분이야.
6. 규모와 범위: 각 서브레딧에서 추출한 게시물 수, 총 89,239개.
7. 특징별 원시 데이터: 백분율 뒤에 숨겨진 실제 게시물 수.
8. 깔때기 분석: 89,239개의 게시물이 어떻게 7,984개의 주제 관련 게시물과 600개의 정밀 분석 대상으로 좁혀졌는지 보여줘.
9. 집중도: 각 서브레딧 전체 게시물 중 주제 관련 게시물이 차지하는 비중. r/WritingWithAI는 게시물의 3분의 1 정도가 이 주제야.
10. 동시 발생: 한 게시물에서 어떤 특징들이 같이 언급되는지.
11. 특징 분류: 어휘, 문장 구성, 서식, 그리고 AI가 생성한 흔적들로 나눴어.
12. 인기 게시물: 이 신호들이 추출된, 추천을 가장 많이 받은 주제 관련 스레드들.
13. 렌즈 2: 내가 직접 검색한 특정 용어들이 AI 글쓰기 맥락에서 얼마나 쓰이는지, 그리고 얼마나 많은 서브레딧에 퍼져 있는지.

(!) 이건 온라인에서 목소리 큰 사람들이 떠드는 내용이니까, 정확한 퍼센트보다는 순위를 더 신뢰해. 키워드 매칭은 단어의 잘못된 의미를 잡거나 반어법을 놓칠 수 있거든. 그래서 일반적인 단어들의 카운트가 높게 나오는 거고, 내가 직접 샘플을 수작업으로 검수한 이유이기도 해. 소수점보다는 상대적인 순위가 핵심이야.

전체 데이터, 스크립트, 스캐너, 그리고 모든 차트는 여기 있어: https://github.com/JCarterJohnson/vibecoded-design-tells (unslop-ai-text 폴더). 추출된 말뭉치, 특징 카운트 표, 600개 게시물 분석 자료, 수집기까지 다 들어있으니까 직접 Arctic Shift 아카이브를 돌려봐도 돼.

============================================================

이건 웹사이트 UI에서 '바이브 코딩(vibe-coding)'이 드러나는 특징들에 대해 썼던 첫 번째 글에 이은 2편이야. UI, 텍스트, 코드에서 나타나는 AI의 '흔적'을 다루는 3부작 연구 시리즈로 만들 생각이야. 링크는 계속 업데이트할게.

1. AI giveaways in UI -- /unslop-ai-ui 스킬 (repo에 있음)

2. AI giveaways in text (이 게시물) -- /unslop-ai-text 스킬 (repo에 있음)

3. AI giveaways in code (...출시 예정) -- /unslop-ai-code 스킬 (repo에 있음)