r/LocalLLaMA•약 2개월 전•114•214
다들 deepseek v4 flash 0731 속도 얼마나 나옴?
What speeds are everyone getting with deepseek v4 flash 0731?
핵심 요약
사용자들이 각자의 하드웨어 환경에서 deepseek v4 flash 0731 모델을 구동하며 얻는 추론 속도를 공유하는 글.
- 추론 속도 공유 — 사용자별 하드웨어 구성에 따른 토큰 처리 속도 비교함.
- 하드웨어 환경 — RTX 6000, DGX 클러스터, Mac, Strix Halo 등 다양한 사양 사용됨.
- 최적화 이슈 — ROCm과 Vulkan 백엔드 간 성능 차이 및 최적화 논의됨.
- 모델 성능 — 컨텍스트 길이에 따른 속도 변화와 양자화 방식에 따른 차이 확인됨.
다들 deepseek v4 flash 0731 속도 얼마나 나옴?
난 4x5060ti 16GB, DDR4 3200 4채널 환경에서 llamacpp 쓰고 있고, 컨텍스트 윈도우 128,000, -ub/-b 4096, Unsloth의 q8 무손실 양자화 적용해서 프롬프트 처리 ~200 tps, 토큰 생성 ~11 tps 정도 나옴.
