로컬 모델(Qwen)의 창의적 글쓰기 능력을 향상할 방법이 있을까요?

llama.cpp의 라우터 모드를 사용해서 모델을 정의하고 작업별로 직접 할당하는 걸 추천함. 예를 들어, 창의적 작업에는 Gemma를 자동으로 로드하고 다른 작업에는 Qwen으로 돌아가는 식이지. 개인적으로는 단기 임베딩과 리랭킹 모델을 위한 라우터 서비스도 돌리고 있어서 VRAM을 너무 오래 차지하지 않게 관리하고 있음.

그리고 질문에 직접 답하자면, Qwen은 창의적 글쓰기에 약해서 이걸 개선하려면 프롬프팅이나 글쓰기 스타일/예시 RAG 가이드 같은 방식이 필요할 거야. 근데 그냥 Gemma를 로드해서 쓰는 게 훨씬 편한데 굳이 그렇게까지 할 필요가 있나 싶네.

직접 테스트해 본 건 아니라서 완전 개소리처럼 들릴 수도 있겠지만, Qwen 모델 중 하나한테 네가 정말 좋아하는 책, PDF, 대본 같은 걸 웹 검색하게 하거나 업로드한 다음에, 특정 캐릭터나 그 책의 분위기를 따라 하라고 시켜봐. 그러면 모델 자체에만 의존하는 것보다 어떤 방향으로 가야 할지 명확한 지시를 줄 수 있잖아. 나도 도움이 될지 한번 시도해봐야겠네.

Qwen으로 롤플레잉할 때 시스템 프롬프트에 생각과 감각을 상세히 묘사하라는 내용을 몇 줄 추가하니까 창의적인 결과물이 훨씬 일관성 있게 나오더라.

창의적 글쓰기와 코딩 작업은 다소 상충하는 목표라서, STEM/코딩에 집중된 모델들이 창의적 글쓰기에서 더 낮은 성능을 보이는 거야. 왜 이미 더 잘한다는 걸 알고 있는 모델을 놔두고 굳이 Qwen에 창의적 글쓰기를 억지로 끼워 맞추려는 거야?