r/LocalLLaMA•4개월 전•22•17
Mimo 2.5 Pro - 8x Nvidia Spark/GB10 클러스터에서 40t/s 달성
Mimo 2.5 Pro - 40t/s on 8x Nvidia Spark/GB10 cluster
핵심 요약
8x Nvidia GB10 클러스터에서 Mimo 2.5 Pro 모델을 구동하여 컨텍스트 길이에 따른 토큰 처리 속도와 병렬 처리 성능을 공유함.
- 성능 측정 — 8x Nvidia GB10 클러스터 환경에서 Mimo 2.5 Pro 모델의 토큰 처리 속도를 측정함.
- 컨텍스트별 속도 — 1k부터 250k 컨텍스트까지 길이에 따른 t/s 변화를 기록함.
- 병렬 처리 — 다중 병렬 요청 시 최대 83t/s까지 성능이 향상됨을 확인함.
8x Asus Nvidia GB10 클러스터에서 mtp-2를 사용하여 Mimo 2.5 Pro를 구동함 (단일 사용자 요청, 코딩):
40 t/s - 1k 컨텍스트,
32 t/s - 30k 컨텍스트,
25 t/s - 125k 컨텍스트,
17 t/s - 250k 컨텍스트.
2개 병렬 요청 시 60 t/s, 4개 병렬 요청 시 83 t/s에 도달함. 1T 모델치고는 나쁘지 않음. 나와 친구가 오픈 코드로 사용하기에 아주 잘 돌아감. https://forums.developer.nvidia.com/t/mimo-2-5-pro-nvfp4-on-8xgb10-cluster/370803
