r/LocalLLaMA•6개월 전•296•50

Gemma 4 1B, 13B, 27B 모델 포착

Gemma 4 1B, 13B, and 27B spotted

핵심 요약

구글의 새로운 멀티모달 모델 Gemma 4가 1B, 13B, 27B 파라미터로 공개되었습니다.

Gemma 4 공개 — 1B, 13B, 27B 파라미터의 멀티모달 모델이 출시됨
기술적 특징 — 비전 프로세서와 공간 2D RoPE를 통해 시각 정보 처리 능력이 향상됨
모델 변형 — llama.cpp PR을 통해 MoE 등 다양한 변형 모델의 존재가 확인됨
커뮤니티 반응 — 새로운 모델에 대한 기대감과 함께 모델 크기 및 성능에 대한 토론이 이어짐

Gemma 4는 사전 학습 및 지시 튜닝된 변형 모델을 포함하는 멀티모달 모델로, 1B, 13B, 27B 파라미터로 제공됩니다. 아키텍처는 이전 Gemma 버전과 거의 동일합니다. 주요 차이점은 고정된 토큰 예산으로 이미지를 출력할 수 있는 비전 프로세서와 높이 및 너비 축에 걸쳐 비전 관련 정보를 인코딩하기 위한 공간 2D RoPE입니다.

모든 원본 Gemma 4 체크포인트는 Gemma 4 릴리스에서 찾을 수 있습니다.

원문

커뮤니티 목록

r/LocalLLaMA•6개월 전•296•50

Gemma 4 1B, 13B, 27B 모델 포착

Gemma 4 1B, 13B, and 27B spotted

핵심 요약

구글의 새로운 멀티모달 모델 Gemma 4가 1B, 13B, 27B 파라미터로 공개되었습니다.

Gemma 4 공개 — 1B, 13B, 27B 파라미터의 멀티모달 모델이 출시됨
기술적 특징 — 비전 프로세서와 공간 2D RoPE를 통해 시각 정보 처리 능력이 향상됨
모델 변형 — llama.cpp PR을 통해 MoE 등 다양한 변형 모델의 존재가 확인됨
커뮤니티 반응 — 새로운 모델에 대한 기대감과 함께 모델 크기 및 성능에 대한 토론이 이어짐

모든 원본 Gemma 4 체크포인트는 Gemma 4 릴리스에서 찾을 수 있습니다.

주요 댓글

r/localllama

새로운 Gemma 4 모델의 등장에 대해 성능과 VRAM 효율성에 대한 기대감이 높으며, MoE 모델의 존재 여부에 큰 관심을 보이고 있습니다.

Transformers PR에서 최소한 다음 모델들을 확인함: _VARIANT_GEMMA_4_E2B = "gemma-4-e2b" _VARIANT_GEMMA_4_E4B = "gemma-4-e4b" _VARIANT_GEMMA_4_26B_A4B = "gemma-4-26b-a4b" _VARIANT_GEMMA_4_31B = "gemma-4-31b"

"VARIANT_GEMMA_4_26B_A4B" 이거 양자화 잘 되면 16GB VRAM GPU 쓰는 사람들한테는 킬러 모델이 될 듯. 이번엔 제발 Gemma가 쓸모없는 모델이 아니길 바람.

야, Gemma 3 QAT 버전들 진짜 훌륭했어. 이번에도 네가 말한 그 킬러 모델이 나올 것 같아 :)

그럼 31B 덴스 모델이라는 거야?

작은 모델들이 나오는 건 정말 좋지만, 더 큰 모델도 하나쯤 추가해줬으면 좋았을 텐데.

욕심이 너무 과하네.

야, 그만 좀 해. 우리 지금 최고급 모델들 때문에 배가 불렀구만.

MoE 모델 이름이 "-a4b"인 걸 보면 그렇게 봐도 무방할 듯.

오오... Gemma 4 MoE라고???

이미지 출력이라고 했어? 당장 내놔!

원문r/LocalLLaMA