AI가 글을 수정할 때 문체가 변하는 이유에 대한 버클리 연구 논문
New Berkeley paper measured what happens to voice when AI revises prose. Even the "preserve voice" prompt drifted in the same direction.
핵심 요약
AI 모델은 프롬프트와 상관없이 항상 더 형식적이고 정중한 문체로 글을 수정하는 경향이 있어, 프롬프트 기반의 문체 제어에는 구조적 한계가 있음.
- AI 문체 드리프트 — 모든 모델이 프롬프트 지시와 무관하게 더 정중하고 형식적인 문체로 변함.
- 프롬프트의 한계 — 시스템 프롬프트만으로는 모델의 근본적인 문체 편향을 완전히 제어하기 어려움.
- 구조적 해결책 — 프롬프트가 아닌 별도의 스타일 프로필을 강제하는 아키텍처 도입이 필요함.
- 4.7 버전 회귀 — 4.7 모델의 강한 문체 인코딩이 오히려 사용자의 의도와 다른 문체로 고정되는 현상을 유발함.
문체 측정, AI 수정, 또는 4.7 버전 논의의 글쓰기 측면에 관심이 있다면 읽어볼 만한 새로운 arxiv 논문이 나왔습니다.
버클리 연구원 Tom van Nuenen은 300개의 개인 서사를 세 가지 프롬프트 조건(일반적인 "개선해줘", 일반적인 "다시 써줘", 명시적인 "원래 문체를 유지하며 수정해줘") 하에 세 가지 최신 모델(Claude급, ChatGPT급, Gemini급)을 통해 실행했습니다. 그는 입력과 출력에서 13가지 문체 측정 지표(기능어, 축약어, 1인칭 대명사, 어휘 다양성, 문장 길이 분산, 구두점 패턴, 감정 단어)를 측정했습니다.
결과: 모든 조건의 모든 모델이 같은 방향으로 드리프트(drift)했습니다. 축약어 감소, 1인칭 대명사 감소, 어휘 범위 확대, 더 긴 단어, 더 정교한 구두점 사용. 문체는 내장된 서사에서 거리를 둔 서사로 이동했습니다. "문체 유지" 프롬프트는 드리프트의 방향이 아니라 크기만 줄였을 뿐입니다.
쉽게 말해: 모든 AI 수정 프롬프트는 글을 더 정중하고, 더 형식적이며, 더 비위를 맞추려는 방향으로 만듭니다. 심지어 하지 말라고 지시해도 말이죠.
제가 계속 생각하는 것은 이것이 스택의 프롬프트 엔지니어링 계층에 무엇을 의미하는가입니다. 어떤 종류의 문체가 필요한 출력(글쓰기, 대화, 마케팅 문구, 설득력 있는 에세이)을 위해 프롬프트, 샘플 붙여넣기, 커스텀 지시사항, 캐릭터 바이블을 반복해 온 사람들은 논문이 효과적으로 보여주는 구조적 한계에 부딪히고 있습니다. 문체 지시는 모델의 사후 학습 분포가 문단 한두 개 내에서 덮어쓰는 계층에 존재합니다.
이것은 제가 본 4.7 버전의 문체 회귀에 대한 가장 깔끔한 경험적 설명이기도 합니다. 4.7의 중심 문체는 4.6보다 더 깊게 인코딩되어 있으며, 이것이 바로 문체 구조를 더 잘 읽어내고(지난주에 제가 올린 Piper 실험) 편향에 더 강하게 저항하는(메모 문체 불만 사항) 이유입니다.
도구에 대한 시사점: 긴 글 전체에서 문체를 유지하려면 아키텍처가 프롬프트 외부에 존재해야 합니다. 컴파일된 스타일 프로필을 모든 생성에 대한 구속 조건으로 적용해야 합니다. 덮어쓸 수 있는 프롬프트 매개변수가 아니라 말이죠.
각 주요 글쓰기 도구(Sudowrite, NovelCrafter, Claude/ChatGPT 직접 사용)가 왜 같은 한계에 부딪히는지, 그리고 제약 기반 아키텍처가 실제로 어떤 모습인지에 대한 자세한 분석은 여기에서 확인하세요: https://bookmoth.app/blog/ai-writing-tool-that-preserves-voice/
논문은 여기 있습니다: https://arxiv.org/abs/2604.22142
문체에 민감한 결과물을 작업하시는 분들, 이게 실제로 경험하시는 것과 일치하나요? 프롬프트 수준의 접근 방식이 논문이 제시하는 것보다 더 잘 유지되고 있는지, 아니면 여러분이 설명하던 드리프트와 일치하는지 궁금합니다.
