r/LocalLLaMA•27일 전•34•6
Android Studio의 네이티브 Gemma 4가 llama.cpp에서 구동됨
Android Studios native Gemma 4 runs on llama.cpp
핵심 요약
Android Studio가 Gemma 4 모델 구동을 위해 llama.cpp를 활용하고 있다는 사실을 공유함.
- llama.cpp 활용 — Android Studio가 Gemma 4 모델을 구동하기 위해 llama.cpp를 사용함.
- 기술적 사양 — Vulkan 및 QAT 버전이 사용되며 31B 모델은 128k 컨텍스트를 지원함.
- 하드웨어 요구사항 — 모델을 완전히 로드할 경우 34GB의 VRAM이 필요함.
안드로이드 스튜디오에 관심 있는 사람이 얼마나 될진 모르겠는데, 구글이 llama.cpp 쓰는 거 좀 신기하네.
내 생각엔 Vulkan이랑 Gemma 4의 QAT 버전인 것 같음. 멀티 GPU 지원하고 31B 모델은 최대 컨텍스트 길이가 128k까지 나오더라.
다 로드하면 VRAM 34GB 잡아먹음. 컨텍스트 길이 바꾸거나 PP/TG 속도 확인하는 옵션은 안 보이네.
