r/LocalLLaMA•약 2개월 전•36•56
A6000 + 256GB DDR4 환경에서 DeepSeek-V4-Flash-0731 UD-Q8_K_XL 17.20~ t/s 기록
DeepSeek-V4-Flash-0731 UD-Q8_K_XL 17.20~ t/s on A6000 + 256GB DDR4
핵심 요약
A6000 GPU와 256GB RAM 환경에서 DeepSeek 모델의 추론 성능을 공유하고, 배치 사이즈 조정을 통한 프롬프트 처리 속도 개선 팁을 나눔.
- 성능 공유 — A6000 GPU 환경에서 17.20 t/s의 추론 속도를 기록함.
- 배치 사이즈 최적화 — 배치 사이즈 조정을 통해 프롬프트 처리 속도를 70 t/s에서 400 t/s까지 대폭 향상함.
- 하드웨어 구성 — AMD EPYC CPU와 8채널 DDR4 RAM을 활용한 고사양 시스템임.
- 기술적 조언 — 배치 사이즈와 마이크로 배치 사이즈 설정이 추론 성능에 미치는 영향을 논의함.
다들 안녕, 나도 스펙 공유하는 유행에 동참하고 싶어.
CPU: AMD EPYC 74F3 24코어
RAM: 8채널 3200 DDR4
GPU: RTX A6000 48GB
프롬프트 처리는 70t/s 후반대(300k 컨텍스트에서는 30t/s 중반까지 떨어짐). 추론은 안정적으로 17.20t/s 정도 나오고, 48GB VRAM이면 100만 컨텍스트 전체를 올릴 수 있지만 프롬프트 처리가 너무 느려질 거야. 아쉽게도 M5 맥만큼 쿨하진 않네.
비슷한 스펙 쓰는 사람 또 있어?
수정: 배치 사이즈에 대해 조언받아서 8096으로 설정했더니 프롬프트 처리 속도가 시작하자마자 거의 400t/s까지 뛰었어. 20k 컨텍스트에서는 300t/s 정도 나오네. 기본 70t/s보다 훨씬 낫다 ㅋㅋ.
