4년의 개발 끝에, LLM은 정말 고품질의 산문을 쓸 수 있을까?
After four years of development, are LLMs capable of writing high-quality prose?
핵심 요약
LLM의 산문 작성 능력에 회의를 느낀 작성자가 고품질 글쓰기를 위한 방법론과 에이전트 기반 접근법을 논의합니다.
- 산문 품질 한계 — LLM이 생성하는 글이 여전히 평범하고 일반적인 수준에 머묾
- 에이전트 기반 접근 — 단순 생성 대신 세계관 구축과 반복적 피드백 루프 활용 제안
- 검열의 영향 — 모델의 과도한 안전 장치가 창의적이고 흥미로운 서사를 방해함
- 기술적 해결책 — 코딩 에이전트 방식을 문학 창작에 적용하여 품질을 개선함
GPT-3.5 시절부터 LLM 발전 과정을 쭉 지켜봤고, Gemma 2 나오고 나서는 로컬 LLM도 존나게 굴려봤다.
이 서브레딧을 포함해서 이것저것 엄청나게 읽었지. 내 로컬 머신으로 QLoRA 파인튜닝도 수없이 돌려봤고, RunPod에서 풀 파인튜닝(FFT)도 직접 해봤다.
영어, 중국어, 러시아어권에서 이름 좀 날리는 애들이 만든 모델 수백 개가 내 드라이브를 거쳐 갔다.
그렇게 4년을 보내고 나서 어제 문득 근본적인 의문이 들더라. 과연 LLM이 제대로 된 산문을 쓸 수 있기는 한 건가?
직접 모델 학습시킬 때 내 산문 데이터셋이랑 남들이 만든 거 다 써봤다. 학습 과정에서 1e-7 학습률로 FFT 100 에포크 돌리는 것부터, 공격적인 LoRA/QLoRA 설정까지 별짓을 다 해봤지. 근데 결과물은 그냥 평범함 그 이상도 이하도 아니더라.
Gemma, Qwen, Mistral, LFM, IBM 같은 메이저 모델부터 밑바닥부터 모델 만드는 개발자들의 니치한 시도까지 다 써봤다.
혹시 내가 엔지니어가 아니라서 파인튜닝을 제대로 못 하는 건가 싶기도 했다.
그래서 다른 파인튜너들을 찾아다녔다. 나보다 훨씬 잘하는 특별한 '기술적 유전자'라도 있는 건가 싶어서 말이지. 근데 안타깝게도 아니더라. 짧든 길든, 얘네가 뽑아내는 산문은 그냥 기본 모델이랑 별반 차이가 없었다.
게다가 특정 문학 장르를 표현하는 건 진짜 개판이다. 예전엔 LLM이 SF에 딱 맞을 거라 생각했거든? 근데 이 모델들은 해리 해리슨의 *The Stainless Steel Rat* 같은 단순한 문체조차 못 따라 해. *Dune*의 언어적 수준은 말할 것도 없고.
장르도 상관없어. 코미디, 현대 드라마, 모험, 로맨스, 역사 소설 다 해봤는데, 결국 다 똑같은 양산형 쓰레기만 나오더라.
결국 문학적 가치가 있는 글을 쓰려면 내가 직접 쓰고 LLM은 교정용으로나 써야 한다는 결론이다.
개인적으로 EQBench는 전혀 신뢰가 안 간다. 거기서 보여주는 샘플 텍스트만 봐도 LLM이 얼마나 뻔한 '슬롭(slop)'을 뱉어내는지 딱 나오잖아.
커뮤니티에 물어본다. *Dune*, *The Lord of the Rings*, *Martin Eden*, 아니면 *The Grapes of Wrath* 수준의 고퀄리티 산문을 뽑아내는 로컬 모델을 만들거나, 찾거나, 파인튜닝해 본 사람 있냐?
지금 레코드 10만 개에 대한 설명을 써야 하는 엄청난 과제가 앞에 놓여 있는데, 100개, 1,000개, 심지어 10,000개를 돌려봐도 만족스러운 결과가 안 나오니 이게 할 가치가 있는 건지 의문이다.
어쩌면 이런 양산형의 평범함이 모델 자체의 고질적인 한계고, 절대 극복할 수 없는 건지도 모르겠다.
