Gemma 4 with quantization-aware training
Google이 양자화 인식 학습(QAT)을 적용한 Gemma 4 모델들을 공개하며, 다양한 포맷과 최적화된 체크포인트를 제공함.
blog.google
원문 사이트로 이동
사용자들은 공식 QAT 모델 공개를 환영하며, 저사양 환경에서의 구동 가능성에 큰 관심을 보이고 있습니다.
구글 공식 Gemma 4 QAT GGUF 모델들: E2B https://huggingface.co/google/gemma-4-E2B-it-qat-q4_0-gguf E4B https://huggingface.co/google/gemma-4-E4B-it-qat-q4_0-gguf 12B https://huggingface.co/google/gemma-4-12B-it-qat-q4_0-gguf 26B-A4B https://huggingface.co/google/gemma-4-26B-A4B-it-qat-q4_0-gguf 31B https://huggingface.co/google/gemma-4-31B-it-qat-q4_0-gguf
세상에! 고마워요!!!
u/llmfan46 형, 실력 발휘 좀 해줘!
흠? 이건 GGUF 파일이라 내가 뭘 할 수가 없는데.
https://huggingface.co/google/gemma-4-31B-it-qat-q4_0-unquantized 모든 모델에 대해 safetensor 버전도 다 올라와 있어.
고마워, 글 올리고 나서 확인했어. 근데 이 모델들 전부 다 작업하려면 시간이 좀 걸릴 거야. GGUF랑 NVFP4, GPTQ까지 다 해야 하니까.
괜찮아, 천천히 해!
P E W가 너한테 신뢰 배지를 줬잖아! 그러니까 얼마나 걸리든 기다릴게 친구!
바보 같은 질문이라 미안한데, oMLX로 이걸 돌릴 수 있는 mlx 패키지는 언제, 누가 내놓을까?
좋다, 그럼 omlx 업데이트로 벌써 돌아가는 거네. 다음은 뭐가 나올까, mtp 지원?
일단 omlx 업데이트가 먼저 있을 거야. 오늘 일찍 0.4.0.dev2가 다운로드 가능했어. 난 0.4.1 기다리는 중이고, 프로젝트에 시간 내서 기여하고 테스트해 주는 모든 분께 감사해.
이 GGUF들 공유해 줘서 고마워.
2비트랑 4비트 QAT 체크포인트가 나왔다니 대박이네. 이제 내 6GB VRAM 노트북에서도 E4B를 제대로 돌릴 수 있을 것 같아.
그럼 Q8이 Q4 QAT보다 여전히 성능이 더 좋겠지? QAT는 한 번도 안 써봐서 그냥 궁금해서 물어봐.
NVIDIA가 에이전트 보안을 위한 오픈소스 샌드박스 'OpenShell'을 공개하며 업계 표준화를 주도하고 있습니다.
NVIDIA가 에이전트 보안을 위한 오픈소스 샌드박스 'OpenShell'을 공개하며 업계 표준화를 주도하고 있습니다.
Google이 예고 없이 AI Plus 요금제에서 Pro 모델 접근 권한을 제거하여 사용자들의 불만이 폭주하고 있습니다.
Google이 예고 없이 AI Plus 요금제에서 Pro 모델 접근 권한을 제거하여 사용자들의 불만이 폭주하고 있습니다.
OpenCode 무료 티어 사용 시 발생하는 접근 오류 문제와 그 해결책을 공유하는 글입니다.
OpenCode 무료 티어 사용 시 발생하는 접근 오류 문제와 그 해결책을 공유하는 글입니다.