Gemma 4의 새로운 모델, 특히 120B급 대형 모델 출시에 대한 기대와 성능 논의가 활발함.
https://x.com/i/status/2062237998415069224
아마 120B 모델일 듯
사용자들은 Gemma 4의 새로운 대형 모델 출시에 큰 기대를 걸고 있으며, 모델의 효율성과 타 모델과의 비교를 두고 활발한 토론이 이어지고 있음.
아마 Gemma 4 26B랑 31B 통합 버전을 내놓을 듯. 오디오 모달리티 레시피를 12B 모델까지 확장하는 데 성공했으니까. 그래도 124B 모델 좀 내줬으면 좋겠다. 14B 활성 파라미터를 가진 124B MoE 모델이라니 진짜 대박일 듯.
124B 통합 모델 나오면 게임 체인저가 될 거임.
👀👀👀
맞음, 마이크로 Gemma 4 0.3B A0.1B 버전임.
마이크로 Gemma 4 0.3B A0.1B, 미드 Gemma, 퓨즈드, 펑션 Gemma 울트라 맥스 파인 튜닝까지. 이거 진짜 대박 날 듯. Qwen3.6 27B 대신 이걸로 다 갈아탈 거임.
집에 있는 주판으로도 돌릴 수 있겠네!
솔직히 이 12B 모델은 도메인 전문가용이나 파인 튜닝용으로 딱 좋은 사이즈임. 26B랑 31B 사이에서 고민 중인데, E4B는 내가 더 큰 모델들로 파인 튜닝했던 작업들을 돌리기엔 성능이 좀 부족함. 단일 인코더 기반의 네이티브 멀티모달인 것도 다른 Gemma 4 모델들에 비해 확실히 업그레이드된 부분이고. 오늘 밤에 바로 돌려보고 파인 튜닝할 생각에 신남!
드디어 LocalLLaMa 멤버들의 꿈이 이루어지네. 8GB VRAM 유저들을 위한 새로운 Gemma 4 8B 모델 등장 👏👏👏
Gemma 4 e4b가 이미 그 정도 사이즈 아니었나?
아마 120B 모델일 듯. 다들 알게 해줘!
12B 캐시 사용량이 또 터무니없이 높네. 그냥 Qwen 3.6 27B iq4 4비트 쓰는 게 낫지. 12B q8이랑 같은 용량인데 출력 품질은 더 좋음.
뭔가 잘못 알고 있는 거 아님? 131k 컨텍스트에서 Gemma 4 12B Q8_0 모델 돌려보니까 VRAM 16GB 정도 쓰던데, 이 정도면 터무니없는 수준은 아님. 그리고 왜 사과랑 오렌지를 비교하고 그래? Gemma 4 12B도 iq4로 쓰면 되잖아.
네이티브 멀티모달인 120B Gemma 4랑 Qwen3-235B-A22B를 벤치마크하는 건 진짜 흥미로운 작업이 될 듯. 그 정도 규모면 MoE가 가진 효율성 우위를 제대로 압박할 수 있는 경쟁자가 드디어 나올지도 모름. 지켜볼 만함.
제발 124B MoE 모델이었으면 좋겠다….
아마 안 나올걸. 구글의 하위 Gemini 모델들이랑 직접 경쟁하게 될 테니까.
