r/LocalLLaMA•11일 전•115•145논쟁

M5 Ultra 첫 벤치마크 결과

First M5 Ultra benchmarks

핵심 요약

M5 Ultra의 벤치마크 성능이 공개되었으며, 가격 대비 성능과 4090과의 비교를 두고 사용자들 사이에서 논쟁이 이어지고 있습니다.

벤치마크 성능 — Qwen 27B 모델 기준 50 tok/s 및 1800 tok/s prefill 속도를 기록함
가격 경쟁력 — 4090 기반 시스템 대비 대용량 메모리 확보 측면에서 가성비가 높다는 의견이 있음
성능 논란 — 4090과 유사한 성능이라는 주장과 하드웨어 스펙 대비 수치가 비현실적이라는 반론이 대립함
최적화 중요성 — 27B 모델보다는 Qwen Flash와 같은 최적화된 모델을 사용하는 것이 권장됨

omlx 웹사이트에서 m5 ultra 벤치마크 좀 봤는데(얼마나 공신력 있는지는 모르겠지만 수치는 꽤 합리적으로 보임): Link

Qwen 3.8 27B q4 모델 기준으로 8k 컨텍스트, mtp 없이 th 50 tok/s, pp 1800 tok/s 찍히네. 이거 진짜 기대되는데?

원문

커뮤니티 목록

r/LocalLLaMA•11일 전•115•145논쟁

M5 Ultra 첫 벤치마크 결과

First M5 Ultra benchmarks

핵심 요약

M5 Ultra의 벤치마크 성능이 공개되었으며, 가격 대비 성능과 4090과의 비교를 두고 사용자들 사이에서 논쟁이 이어지고 있습니다.

벤치마크 성능 — Qwen 27B 모델 기준 50 tok/s 및 1800 tok/s prefill 속도를 기록함
가격 경쟁력 — 4090 기반 시스템 대비 대용량 메모리 확보 측면에서 가성비가 높다는 의견이 있음
성능 논란 — 4090과 유사한 성능이라는 주장과 하드웨어 스펙 대비 수치가 비현실적이라는 반론이 대립함
최적화 중요성 — 27B 모델보다는 Qwen Flash와 같은 최적화된 모델을 사용하는 것이 권장됨

omlx 웹사이트에서 m5 ultra 벤치마크 좀 봤는데(얼마나 공신력 있는지는 모르겠지만 수치는 꽤 합리적으로 보임): Link

Qwen 3.8 27B q4 모델 기준으로 8k 컨텍스트, mtp 없이 th 50 tok/s, pp 1800 tok/s 찍히네. 이거 진짜 기대되는데?

주요 댓글

r/localllama

M5 Ultra의 벤치마크 성능에 대해 기대와 함께 기존 하드웨어 구성과의 비교가 활발히 이루어지고 있습니다.

근데 그 기계에서 27B를 돌리면 안 되지. Qwen Flash를 돌려야지.

27B 모델로 1800pp라니 나한테는 천국이나 다름없네... tps는 예상보다 낮긴 한데, 동시 요청에서도 이 속도 유지할 수 있으면 완벽할 듯.

덴스 모델이라서 그렇지, MTP 적용된 MoE 모델이면 훨씬 더 높게 나올걸. 초기 수치치고는 놀랍네.

비교해보자면 듀얼 4090은 70 tok/s에 4700pp 넘게 뽑아줌. 심지어 5090 단일로도 NVFP4 기준 95 tok/s에 8600pp 찍음.

-9

"사용법이 틀렸네"

ㅋㅋㅋ..

내가 뭘 놓치고 있는 건지 모르겠는데, 가격 대비 좀 별로인 거 아냐?

반박 환영함.

난 M3 Ultra 512GB에서 Q8로 돌릴 때 20-25 t/s 정도 나오는데, prefill은 훨씬 빨라. 내 소셜 미디어 피드에는 이런 작은 dense 모델들로 수백 t/s가 나온다는 글이 넘쳐나는데, 솔직히 이게 진짜인지 모르겠어. 그런 속도는 본 적이 없거든. (수정: 결과들을 살펴보니 같은 하드웨어와 모델 스펙인데도 10 t/s 이상 차이가 나는 결과들이 많네. 그러니 이 수치들은 좀 걸러서 봐야 할 듯)

걱정될 정도로 낮네. Q4에서 1.8k pp라니, 그리고... Q4에서 50tg이라니.

대역폭을 전혀 제대로 활용하지 못하고 있어.

흠, 4090이랑 비슷한 속도 아닌가? 나도 24GB 4090 쓰는데 MTP 없이 1,700 pp에 50-60 TG 정도 나오거든.

원문r/LocalLLaMA