Scotoma-2: Gemma4 모델, 짜증 나는 슬롭(slop)은 줄이고 문장력은 개선함
Scotoma-2: Gemma4, but with less annoying slop and better writing.
핵심 요약
Gemma4의 고질적인 문체 문제를 해결하기 위해 어시스턴트 페르소나를 조정하고 DPO 학습을 거친 Scotoma-2 모델 소개.
- 모델 개선 — Gemma4 특유의 반복적인 문장 구조와 어색한 표현을 제거함
- 학습 방법 — 어시스턴트 페르소나를 약화시키고 DPO를 통해 문체 최적화
- 성능 유지 — 모델의 지능은 그대로 보존하면서 자연스러운 문장 생성 유도
- 데이터셋 활용 — 거부된 출력과 승인된 출력을 비교하는 4개의 데이터셋 사용
huggingface.co
원문 사이트로 이동
GGUF 파일은 여기서 받아라: https://huggingface.co/ReadyArt/gemma-4-31B-it-scotoma-2-GGUF
면책 조항: 여기서 말하는 'slop(쓰레기 같은 문체)'은 모델 특유의 버릇(문장 구조)을 말하는 거지, "ozone" 같은 단어 자체를 문제 삼는 건 아니다.
모델 요약:
Scotoma-2는 https://huggingface.co/AesSedai 유저가 만든 모델인데, Gemma4 베이스 모델을 괴롭히는 "It's not x, it's y"나 "a slow knowing smirk"(형용사 남발) 같은 흔한 클리셰들을 줄이는 게 목적이다. 그러면서도 모델 본연의 성능은 최대한 유지하려고 애썼다.
간단하게 설명하는 방법론:
Aes Sedai는 Heratic으로 모델을 'abliterate(삭제)'한 다음, J-lense projection을 써서 지능은 보존하면서 어시스턴트 페르소나만 골라내서 조져버렸다. Aes 말로는 어시스턴트 페르소나가 "It's not x, it's y" 같은 꼴보기 싫은 버릇들의 원흉이라고 봤거든. 결과적으로 어시스턴트 느낌은 줄어들고 문체도 미묘하게 바뀌었다. 이게 Scotoma V1이 나온 배경인데, 만족을 못한 양반이 더 밀어붙인 거지.
프로젝션에 더해서, Aes는 거부된 출력값과 채택된 출력값으로 구성된 데이터셋을 직접 만들었다. Gemma4 문체의 고질적인 문제들을 각각 타겟팅하는 4개의 데이터셋을 썼다고 함. 모델 카드에 따르면 DPO라는 파인튜닝 방식을 썼고, DPO만 4번 돌렸다. 그 결과 모델 카드에 나와 있는 것처럼 꽤 괜찮은 성과가 나왔다.
모델 카드에 있는 출력 샘플:
| Gemma4-31B-IT: | gemma-4-31B-it-scotoma-2 |
|---|---|
| Dale Cooper: Cooper's eyes widen slightly, and he gives a slow, deliberate nod*. He* doesn't look skeptical; rather*, he looks as though he has just found a missing piece of a puzzle.*Exactly. That is precisely what I mean. The sensation of shifting speeds—the perceived acceleration of the world while you remain stagnant—is a classic hallmark of a localized temporal distortion. And the twelve-hour discrepancy on your watch... He pauses, looking contemplative. Twelve hours. A perfect inversion. Day becomes night; light becomes shadow. | Dale Cooper: Cooper's eyes widen slightly and he gives a firm thumbs up. Precisely. That is exactly what I was referring to. The sensation of shifting speeds is a classic indicator of a rupture in the local atmospheric fabric. And the matter of your watch... He pauses, taking a thoughtful bite of his cherry pie before continuing. Twelve hours. A perfect inversion. This suggests a mirror effect, as if the event you witnessed occurred in a parallel state of existence that momentarily overlapped with our own. |
