r/LocalLLaMA•6개월 전•245•54
Gemma 4가 Unsloth와 llama.cpp에서 심각하게 깨짐
Gemma 4 is seriously broken when using Unsloth and llama.cpp
핵심 요약
Gemma 4 모델이 llama.cpp에서 엉뚱한 결과물을 내놓는 현상이 보고되었으나, 이는 Unsloth 문제가 아닌 llama.cpp의 토크나이저 버그로 밝혀짐.
- Gemma 4 오류 — Unsloth 양자화 모델 사용 시 엉뚱한 답변을 내놓는 현상 발생함
- 원인 파악 — Unsloth 문제가 아닌 llama.cpp의 토크나이저 버그로 확인됨
- 해결책 진행 — llama.cpp 측에서 토크나이저 수정 PR이 올라와 해결 중임
- 사용자 제언 — 모델 초기 출시 시 흔한 문제이니 며칠 기다려보는 것이 좋음
안녕! 그냥 확인차 물어보는 건데, 나만 로컬에서 Gemma 4 때문에 심각한 문제를 겪고 있는 거야?
Unsloth 양자화 모델을 llama.cpp에서 돌려보고 있는데, 정말 제대로 작동을 안 해. llama.cpp 최신 변경 사항을 적용했고, 권장되는 temperature, top-p, top-k 설정도 다 맞췄어.
기사 하나를 주고 오타를 찾아서 수정본이랑 같이 리스트로 만들어달라고 하면 완전 헛소리만 내뱉어. 내가 테스트한 무작위 뉴스 기사 링크야: https://www.bbc.com/news/articles/ce843ge47z4o
26B MoE, 31B 모델 다 써봤고, UD-Q8_K_XL, Q8_0, UD-Q4_K_XL도 다 테스트해 봤어. 전부 다 똑같은 문제가 발생해.
대조군으로 Google AI Studio에서 똑같은 테스트를 해봤는데, 거기서는 모델이 아주 잘 작동해서 헛소리 대신 진짜 오타를 잘 찾아내더라고.
