r/LocalLLaMA•4개월 전•82•7
Gemma 4 QAT Unquantized Heretic 출시
Gemma 4 QAT Unquantized Heretic is here
핵심 요약
Gemma 4 QAT Unquantized Heretic 모델이 공개되었으며, QAT의 작동 원리와 양자화 시 발생할 수 있는 기술적 문제에 대한 논의가 이루어짐.
- 모델 공개 — Gemma 4 QAT Unquantized Heretic 모델이 새롭게 출시됨.
- 양자화 필요성 — 4비트 양자화 작업이 추가로 필요한 상태임.
- QAT 원리 — 학습 단계부터 양자화를 고려하여 가중치를 최적화하는 방식임.
- 기술적 논쟁 — QAT가 모델에 미치는 영향과 양자화 시 거부 반응 변화에 대한 이론적 논의가 진행됨.
huggingface.co
원문 사이트로 이동
이제 누군가 이걸 4비트로 양자화해야 함. 또한 의도적으로 기존 Gemma 4 heretic 컬렉션과는 다르게 발산(divergence)과 거부(refusal) 설정을 유지했으니, 기존 모델의 대안으로도 시도해 볼 수 있을 것임.
