M4 Pro vs M5 Pro (24GB): Qwen 3.8 Flash Next IQ3, MoEShift 사용 시 374 tok/s 프리필 및 14.7 tok/s 디코드, 8.5GB 피크 메모리
M4 Pro vs M5 Pro (24GB): Qwen 3.8 Flash Next IQ3 with MoEShift at 374 tok/s prefill, 14.7 tok/s decode, 8.5GB peak memory
핵심 요약
MoEShift를 활용해 Apple Silicon에서 Qwen 3.8 Flash Next 모델을 구동한 벤치마크 결과와 성능 분석입니다.
- 성능 벤치마크 — M5 Pro가 M4 Pro 대비 프리필 및 디코드 속도에서 우위를 점함
- MoEShift 백엔드 — 메모리 제약이 있는 Mac에서 SSD 오프로딩을 통해 대형 모델 구동 지원
- 에이전트 활용 — 65k 컨텍스트 환경에서 안정적인 추론 성능 확인
- 메모리 효율성 — 8.5GB의 낮은 피크 메모리 점유율로 효율적인 모델 실행 가능
Qwen3.8-Flash-Next 125B ISTA-DASLab의 GSQ-RCO IQ3_XXS 퀀트(디스크 용량 76GB) 모델을 24GB 통합 메모리를 탑재한 맥 두 대에서 MoEShift 백엔드를 사용해 벤치마크 돌려봤다:
| Metric | M4 Pro (medians) | M5 Pro (medians) |
|---|---|---|
| Short prompt decode (72 input tokens) | 9.84 tok/s | 14.69 tok/s |
| Long prompt prefill (6,060 input tokens) | 199.09 tok/s | 374.15 tok/s |
| Long prompt decode (512 output tokens) | 9.57 tok/s | 13.14 tok/s |
| Long prompt inference time | 83.9s | 55.1s |
| Peak physical process memory | 8.5GB | 8.5GB |
이건 MoEShift 커뮤니티 벤치마크 러너(프롬프트 캐싱 비활성화)로 3번 돌려서 나온 중앙값이다. 프리필(prefill) 결과가 특히 인상적인데, 이 정도면 챗봇이나 에이전트 용도로 쓰기에 딱 좋다. 두 기기 모두 프로세스 점유율이 최대 8.5GB 안쪽으로 유지됐거든.
앞으로 나올 Qwen4 MoE 모델도 기대해 볼 만한 아주 유망한 벤치마크 결과다.
내가 만든 MoEShift는 메모리 쪼들리는 애플 실리콘 맥에서 SSD 오프로딩 써서 모델 돌릴 수 있게 만든 오픈소스 추론 백엔드다(아키텍처 상세 내용은 아래 GitHub 참고). 설치는 아래 명령어로 하면 된다:
brew install davide-troiani/moeshift/moeshift
그다음엔
moeshift
설정 마법사가 모델 선택부터 프로비저닝, 구성까지 알아서 다 해주니까 신경 쓸 거 하나도 없다. 그냥 SSD 용량만 넉넉하면 됨.
GitHub, 아키텍처, 설치 및 벤치마크 러너:
https://github.com/davide-troiani/moeshift
다른 애플 실리콘 환경에서 돌려본 결과 있으면 공유 좀 부탁한다. 궁금하네.
