Turbo-fieldfare: 애플 실리콘에서 2GB RAM으로 Gemma 4 26B를 구동하는 오픈 소스 엔진

대박이네요. Qwen3.6-35B-A3B 지원도 추가하실 건가요? 그러면 훨씬 더 주목받을 것 같은데요.

제 프로젝트는 아닙니다. 제 M4 Pro에서 메모리 점유율이 낮은 건 확인했어요. 원작자가 어디선가 이 레포를 포크해서 Qwen3.6-35B-A3B를 지원하게 만드는 것도 가능할 거라고 언급하긴 했습니다.

관심 있으시면, 안드로이드 폰(GPU 없이 CPU만 사용)에서 RAM의 가장자리에 MoE 레이어를 오프로드하는 프로젝트를 만들고 있습니다. 12GB Q4 안드로이드 폰에서 Qwen 30-35B나 GPT 120B 같은 모델을 돌릴 수 있어요: https://github.com/Helldez/BigMoeOnEdge

Colibri 프로젝트랑 비슷해 보이네. 이런 프로젝트들이 다 성공했으면 좋겠다. 폰에서 로컬 챗봇 돌리고 싶거든.

이건 MoE 구조에 크게 의존하는 방식이네요. 26B-A4B라는 건 토큰당 활성화되는 파라미터가 4B 정도라는 뜻이니까, 상주시키지 않는 나머지 부분은 라우팅되지 않는 전문가 모델들이죠. 덴스(dense) 26B 모델은 이렇게 줄어들지 않습니다.

그래서 35B-A3B도 같은 구조라 잘 포팅될 겁니다.