왜 최신 모델들은 글쓰기를 못할까?
Why are frontier models bad at writing?
핵심 요약
최신 AI 모델들이 코딩과 수학 능력은 뛰어나지만, 정작 글쓰기 실력은 퇴보하고 부자연스러워지는 현상에 대한 토론입니다.
- 능력치 트레이드오프 — 코딩과 수학에 최적화된 모델들이 언어적 유연성을 잃어가는 현상임
- RLVR의 영향 — 정답이 명확한 분야에만 자원이 집중되면서 주관적인 글쓰기 품질이 저하됨
- 모델의 결정론적 성향 — 긴 작업을 위해 모델을 결정론적으로 훈련시키면서 문체가 딱딱해짐
- 글쓰기 벤치마크 부재 — 수학/코딩과 달리 인문학적 글쓰기를 평가할 표준화된 지표가 부족함
이건 더 똑똑한 사고 과정(chain of thought) 모델들에 대한 일반적인 관찰이야. 수학과 코딩을 더 잘하는 모델들이 글쓰기는 더 못하는 것 같아. 그들이 쓴 글은 항상 너무 장황하고, 부자연스럽고, 읽기에 이상해. 반면에 멍청한 모델들은 학술적 글쓰기나 다른 분야에서 더 나은 글을 만들어내지. 나한테 이 최신 모델들은 사회성 없는 똑똑한 사람 같아. 문장을 하나 만들 때마다 고문하는 것 같고, 결국에는 절대 제대로 된 문장이 안 나와! 왜 그런 걸까? 그리고 당신들의 경험상 제대로 된 글을 쓰기에 가장 좋은 Claude 모델은 뭐야?


