r/LocalLLaMA•3개월 전•70•77
Gemma 4가 언젠가 차세대 Mistral(혹은 Qwen3.6)이 될 수 있을까? 부족한 파인튜닝 모델에 대한 고찰
Is Gemma 4 going to be the next Mistral (or Qwen3.6) one day? Concerning the lack of finetunes
핵심 요약
Gemma 4의 뛰어난 성능과 기술적 이점에도 불구하고 커뮤니티 파인튜닝이 부족한 이유와 향후 가능성을 논의함.
- Gemma 4 장점 — 뛰어난 기본 성능, 긴 컨텍스트 처리, QAT 지원 및 Apache 2.0 라이선스 제공함.
- 파인튜닝 부족 원인 — QAT로 인한 학습 시간 증가와 기존 아키텍처에 대한 커뮤니티의 고착화 때문임.
- 향후 전망 — 컴퓨팅 자원이 풍부한 사용자들이 주도하여 Gemma 4 기반의 고성능 모델이 등장할 것으로 기대함.
내가 본 바로는 Gemma 4가 Mistral... 파인튜닝 모델들의 날것 그대로의 문장력을 제외하면 모든 면에서(특히 긴 문맥 유지력) 더 나음.
베이스 모델끼리만 비교해보면, 현재 AI RP 커뮤니티의 상당수가 주력으로 쓰는 Mistral Small 3.2가 EQ-Bench의 창작 글쓰기 성능에서 점수가 더 낮게 나옴. 아쉽게도 Claude가 채점하는 방식이긴 한데, 모델별로 테스트한 샘플 수가 워낙 많고 직접 채점해 봐도 되니까 참고해.
내 말은 Mistral도 예전엔 별로였는데, 커뮤니티에서 파인튜닝이랑 머지를 미친 듯이 돌린 덕분에 2년이 다 되어가는 지금까지도 다들 좋아하는 모델이 됐다는 거임. Gemma도 엄청 안정적이고, 주요 버전이 매년 나오니까 커뮤니티 파인튜닝이 성숙해질 시간도 충분함.
베이스 성능 말고도 Gemma 4는 이런 장점이 있음:
- 글로벌 MTP 지원: MTP를 쓰려고 굳이 Gemma 4 모델을 따로 튜닝할 필요가 없음. 12B, 26B-A4B, 31B용 "Assistant" 모델만 있으면 다 됨. 아, 그리고 Assistant 모델이라고 해서 꼭 abliterated 버전일 필요는 없음.
- QAT (양자화 인식 학습): Qwen조차도 지원 안 하는 기능임. qat-q4_0-unquantized 버전(가급적이면 이 Heretic 버전)으로 파인튜닝 돌리면 베이스 모델 워크플로우랑 바꿀 게 하나도 없음. 이렇게 하면 누구나 결과물을 4비트로 양자화해도 BF16 베이스 모델이랑 품질 차이가 거의 안 남. 보통 베이스 모델을 4비트로 양자화하면 성능 떨어지는 거랑은 차원이 다름. 최근 테스트 결과를 봐도 QAT 버전을 쓰면 KV 캐시 양자화(특히 Q8)가 훨씬 정확함. 덕분에 Gemma 4 12B는 에도 들어가고, 31B도 20~24GB VRAM이면 돌아가니까 로컬 유저들도 쾌적하게 쓸 수 있는 모델이 생긴 셈이지.
