r/LocalLLaMA•4개월 전•45•12
StepFun 3.7 Flash - M5 Max 속도 벤치마크
StepFun 3.7 Flash - Speed Benchmark in M5 Max
핵심 요약
M5 Max 환경에서 StepFun 3.7 Flash 모델의 속도 벤치마크 결과를 공유합니다.
- M5 Max 환경 — 128GB RAM 및 Q4_K_S 양자화 설정에서 테스트함.
- 성능 결과 — 16k 이하 컨텍스트는 매우 빠르며, 32k-64k 구간도 실사용 가능한 수준임.
- 메모리 사용량 — 피크 시 120GB 이상을 사용하여 다소 느려지지만 여전히 작동함.
llama.cpp의 day-0 브랜치를 사용하여 벤치마크를 실행했습니다.
M5 Max: 128 GB - Q4_K_S / 메모리 피크가 약 120GB 이상이라 다소 느려지긴 하지만, cmd+tab을 사용하면 여전히 쓸만합니다.
16k 미만의 짧은 컨텍스트는 빠르고 매우 반응성이 좋습니다. 32k-64k의 속도도 나쁘지 않으며 실사용 가능합니다.
| PP | TG | B | N_KV | T_PP s | S_PP t/s | T_TG s | S_TG t/s | T s | S t/s |
| :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- |
| 0 | 128 | 1 | 128 | 0.000 | nan | 2.038 | 62.80 | 2.038 | 62.80 |
| 2048 | 128 | 1 | 2176 | 1.938 | 1056.65 | 2.115 | 60.52 | 4.053 | 536.88 |
| 8192 | 128 | 1 | 8320 | 9.153 | 895.01 | 2.233 | 57.32 | 11.386 | 730.71 |
| 16384 | 128 | 1 | 16512 | 22.428 | 730.52 | 2.475 | 51.71 | 24.903 | 663.05 |
| 32768 | 128 | 1 | 32896 | 64.539 | 507.73 | 2.818 | 45.43 | 67.356 | 488.39 |
| 65536 | 128 | 1 | 65664 | 178.227 | 367.71 | 3.774 | 33.92 | 182.001 | 360.79 |
이제 Pelican 벤치마크입니다. 아주 좋은 벤치마크지만 결과가 꽤 길게 나오네요 ㅋㅋㅋ
