openbmb/MiniCPM-V-4.7-35B-A3B 공개

gguf 파일들: https://huggingface.co/openbmb/MiniCPM-V-4.7-35B-A3B-gguf

"MiniCPM-V 4.7은 MiniCPM-V 시리즈의 최신 모델로, 35B-A3B 버전으로 나왔어. 특히 35B-A3B는 MiniCPM-V 시리즈 최초의 MoE 모델이야. 기존 시리즈가 가진 단일 이미지, 다중 이미지, 영상 이해 능력을 그대로 가져가면서, 더 강력한 기초 성능에 효율적인 시각 인코딩, 온디바이스 추론까지 싹 다 잡았지. MiniCPM-V 4.7의 주요 특징은 다음과 같아:

• 📱 손실 없이 매끄러운 온디바이스 추론이 가능한 최초의 오픈소스 MoE 모델. MiniCPM-V 4.7과 함께 선보인 Lookahead Expert Scheduling (LES) 기술에 세밀한 레이어별 양자화, 그리고 DSpark 추론 샘플링까지 합쳤어. 덕분에 MiniCPM-V 4.7 35B-A3B는 성능 저하 없이 온디바이스에서 매끄럽게 돌아가는 최초의 오픈소스 MoE 모델이 됐고, iPhone 17 Pro Max에서 13+ tokens/s라는 속도를 뽑아내.

• 🔥 성능과 효율의 새로운 파레토 최적점. 모델 성능이 계속 좋아지면서 이제 추론 효율도 모델 가치를 따지는 중요한 척도가 됐잖아. 자원이 제한된 기기에서 한정된 예산으로 최고의 성능을 내려면 결국 '능력 밀도'가 높아야 하거든. MiniCPM-V 4.7의 35B-A3B 버전은 MLLM의 성능-효율 파레토 최적점을 한 단계 더 끌어올렸어. Instruct 모드에서 35B-A3B는 Qwen3.6 35B-A3B보다 더 짧은 추론 시간으로 더 높은 종합 점수를 기록했거든.

• 🚀 효율적인 아키텍처. LLaVA-UHD v4에서 쓴 intra-ViT 초기 압축 기술을 기반으로, 비전 인코더 안에서 시각 토큰을 미리 압축해버려. 덕분에 뒤쪽 인코더 레이어의 연산량이 확 줄어들지. 4x/16x 혼합 시각 토큰 압축도 지원해서, 개발자가 작업에 맞춰 시각적 디테일과 추론 비용 사이에서 적절히 타협할 수 있어.

• 💻 다양한 플랫폼 및 칩 지원. MiniCPM-V 4.7은 iOS, Android, HarmonyOS를 전부 지원하고, 오픈소스 온디바이스 배포도 가능해. Rockchip, Houmo, Intel, AMD, Arm 칩 플랫폼도 출시 당일부터 바로 지원하니까 모바일이나 로컬 컴퓨팅 기기 어디든 갖다 쓰기 편할 거야.

• 🛠️ 개발자 친화적 환경. MiniCPM-V 4.7은 SGLang, vLLM, llama.cpp, Ollama 같은 추론 프레임워크는 물론이고, SWIFT나 LLaMA-Factory 같은 도 다 지원해. GGUF, BNB, AWQ, GPTQ 양자화 버전을 제공하고 까지 추가됐어. 여기에 이라는 방식도 같이 공개했는데, 기존 능력 까먹는 건 줄이면서 저비용으로 모델 성능을 확장할 수 있어서 커스텀하기 훨씬 수월할 거야."