3GB 메모리 폰에서 돌아가는 35B 멀티모달 모델? MiniCPM-V 4.7 데모가 진짜 미쳤네
A 35B multimodal model running on a phone with ~3GB memory? MiniCPM-V 4.7 demo is pretty wild
핵심 요약
스마트폰에서 35B 규모의 멀티모달 모델을 구동하는 MiniCPM-V 4.7의 놀라운 온디바이스 성능과 기술적 접근을 다룹니다.
- 온디바이스 AI — 스마트폰에서 직접 멀티모달 모델을 실행하여 클라우드 의존도 감소
- LES 기술 — 전문가 모델을 예측 및 사전 로드하여 MoE 추론 병목 현상 최적화
- 다양한 라인업 — 고성능 35B 모델과 리소스 제약이 있는 기기를 위한 1B 모델 동시 출시
- SRFT 도입 — 일반적인 성능을 유지하면서 특정 작업에 맞게 모델을 커스텀하는 미세 조정 방식
OpenBMB가 공개한 MiniCPM-V 4.7 데모를 방금 봤는데, 온디바이스 성능이 진짜 미쳤네.
모바일 기기에서 35B-A3B MoE 비전-언어 모델을 로컬로 돌린다는 것부터가 흥미로운데, 특히 활용 사례들이 눈길을 확 끄네:
- 📷 실제 표지판 읽기
- 📄 복잡한 문서 이해하기
- 🧠 시각 정보 기반 추론
- 🗺️ 현실 제약 조건을 고려한 계획 수립
핵심은 **LES (Lookahead Expert Scheduling)**인 것 같아. 단순히 모델 크기만 줄이는 게 아니라, 어떤 전문가(expert)가 필요할지 미리 예측해서 로딩하는 방식으로 MoE 추론 병목 현상을 줄여버렸거든.
리소스가 부족한 기기를 위해 더 가벼운 MiniCPM-V 4.7 1B 모델도 같이 내놨더라.
또 하나 눈에 띄는 건 **Self-Replay Fine-Tuning (SRFT)**인데, 이건 모델의 범용적인 능력은 유지하면서 특정 작업에 맞게 커스텀할 수 있게 해주는 기술이야.
방향성이 아주 마음에 들어. 모든 이미지나 질문을 클라우드에 보낼 필요 없이, 이제 폰에서 직접 돌아가는 쓸만한 멀티모달 비서가 점점 현실화되고 있네.
링크:
GitHub: https://github.com/OpenBMB/MiniCPM-V
Hugging Face: https://huggingface.co/collections/openbmb
SRFT details: https://openbmb.cn/en/blog/self-replay-fine-tuning
