r/LocalLLaMA•약 2개월 전•90•26
맥에서 구동한 Deepseek-V4-Flash-0731 Dwarfstar 성능
Deepseek-V4-Flash-0731 Dwarfstar on Mac
핵심 요약
M2 Ultra 환경에서 Deepseek-V4-Flash-0731 Dwarfstar 모델의 컨텍스트 길이에 따른 추론 성능 벤치마크 공유.
- 성능 벤치마크 — 192GB RAM을 탑재한 M2 Ultra에서 컨텍스트 길이에 따른 토큰 처리 속도를 측정함.
- 추론 속도 — 45k 컨텍스트에서 23.5 t/s, 192k 컨텍스트에서 18 t/s의 디코드 속도를 유지함.
- 하드웨어 비교 — M3 Ultra 및 M5 Max 등 다양한 애플 실리콘 환경에서의 성능 데이터가 공유됨.
- 양자화 방식 — mxfp4 등 다양한 양자화 기법을 적용한 모델 성능이 논의됨.
192GB RAM을 탑재한 M2 Ultra에서의 프리필(prefill) 성능입니다.
디코드(decode) 성능은 다음과 같습니다:
시작: 28 t/s
45k: 23.5 t/s
192k: 18 t/s
해당 깊이에서 8k 토큰 출력 시에도 이 속도가 유지됩니다.
