r/LocalLLaMA•5개월 전•83•32

feat: llama.cpp에 Mimo v2.5 모델 지원 추가 PR #22493

feat: Add Mimo v2.5 model support by AesSedai · Pull Request #22493 · ggml-org/llama.cpp

핵심 요약

llama.cpp가 310B 파라미터 규모의 멀티모달 모델인 Mimo v2.5를 공식 지원하기 시작함.

모델 아키텍처 — 310B 파라미터의 Sparse MoE 구조로 15B 활성 파라미터를 사용함.
멀티모달 지원 — 텍스트, 이미지, 비디오, 오디오 입력을 모두 처리할 수 있음.
긴 컨텍스트 — 최대 100만 토큰의 컨텍스트 길이를 지원함.
llama.cpp 통합 — PR #22493을 통해 로컬 환경에서 구동 가능한 기반이 마련됨.

https://huggingface.co/XiaomiMiMo/MiMo-V2.5

모델 요약

아키텍처: Sparse MoE (Mixture of Experts), 총 310B / 활성 파라미터 15B
컨텍스트 길이: 최대 1M 토큰
모달리티: 텍스트, 이미지, 비디오, 오디오
비전 인코더: 729M 파라미터 ViT (28개 레이어: 24 SWA + 4 Full)
오디오 인코더: 261M 파라미터 오디오 트랜스포머 (24개 레이어: 12 SWA + 12 Full)
다중 토큰 예측 (MTP): 329M 파라미터, 3개 레이어

원문

커뮤니티 목록

r/LocalLLaMA•5개월 전•83•32

feat: llama.cpp에 Mimo v2.5 모델 지원 추가 PR #22493

feat: Add Mimo v2.5 model support by AesSedai · Pull Request #22493 · ggml-org/llama.cpp

핵심 요약

llama.cpp가 310B 파라미터 규모의 멀티모달 모델인 Mimo v2.5를 공식 지원하기 시작함.

모델 아키텍처 — 310B 파라미터의 Sparse MoE 구조로 15B 활성 파라미터를 사용함.
멀티모달 지원 — 텍스트, 이미지, 비디오, 오디오 입력을 모두 처리할 수 있음.
긴 컨텍스트 — 최대 100만 토큰의 컨텍스트 길이를 지원함.
llama.cpp 통합 — PR #22493을 통해 로컬 환경에서 구동 가능한 기반이 마련됨.

https://huggingface.co/XiaomiMiMo/MiMo-V2.5

모델 요약

아키텍처: Sparse MoE (Mixture of Experts), 총 310B / 활성 파라미터 15B
컨텍스트 길이: 최대 1M 토큰
모달리티: 텍스트, 이미지, 비디오, 오디오
비전 인코더: 729M 파라미터 ViT (28개 레이어: 24 SWA + 4 Full)
오디오 인코더: 261M 파라미터 오디오 트랜스포머 (24개 레이어: 12 SWA + 12 Full)
다중 토큰 예측 (MTP): 329M 파라미터, 3개 레이어

주요 댓글

r/localllama

llama.cpp의 MiMo v2.5 지원에 대해 커뮤니티는 매우 긍정적이며, 하드웨어 사양별 성능 테스트와 Flash Attention 가속 이슈 등 실질적인 기술 정보가 활발히 공유되고 있습니다.

대박, llama.cpp PR 벌써 머지됐네. MTP 지원도 곧 될 듯. 근데 아직 오디오랑 비디오는 안 됨. MiMo-V2.5-Pro 버전 다운로드 다 되면 바로 테스트해 봐야지.

AesSedai임. 비전 지원 브랜치 따로 파놨음. Flash Attention PR 먼저 올리고 비전 PR 올릴 예정.

진짜 고맙다. llama.cpp에 이런 모델들 지원해 줘서 너무 감사함!

님 사양 어떻게 됨?

64코어 EPYC 7763, 1TB 8채널 3200MHz RAM, 96GB VRAM(3090 4개) 씀. Kimi K2.6 Q4_X 돌릴 때 프리필 150 t/s, 생성 8 t/s 나오는데 MiMo V2.5 Pro는 어떨지 궁금하네.

MiMo-V2.5는 DGX Spark 같은 128GB 시스템에서 돌릴 수 있는 가장 강력한 모델일 듯. MTP 지원도 기대됨.

128GB에선 좀 크지 않나? IQ3_S 웨이트만 해도 119GB 정도 되던데.

MiMo-V2.5 GGUF 링크. 수정: 나중에 나올 GGUF 기다리고 PR 댓글 확인하는 게 나을 듯. 수정 2: AesSedai가 GGUF 업데이트함.

PR 마지막 댓글 읽어보셈.

QKV 경로 퓨전 안 한 거 물어봄. 퓨전이랑 성능 차이 테스트해 봤음? 아니면 v2.5 전용 경로 유지보수 비용 때문에 그런 거임? MoE 라우팅 오버헤드가 퓨전 이득을 다 잡아먹는지 궁금함.

AesSedai임. 내 시스템(VRAM에 모델 다 올라감)에서 테스트해 봤는데 퓨전이 TG에서 약간 더 빨랐음.

지금 vscode+kilocode에서 IQ3_S 테스트 중. RTX 6000 96GB + W7800 48GB 조합으로 60 t/s 나옴. 잘 되면 W7800 하나 더 추가해서 q4_k_m 테스트할 예정. Minimax 2.7이랑 Qwen 27b로 해결 안 되던 문제 풀려고 하는 중.

원문r/LocalLLaMA