r/LocalLLaMA•15일 전•928•259
3,000달러짜리 128GB VRAM + 256GB RAM DDR4 서버 구축
3k$ 128GB VRAM + 256GB RAM DDR4 Server
핵심 요약
3,000달러 예산으로 구축한 가성비 추론 서버와 그 성능에 대한 커뮤니티의 뜨거운 반응.
- 서버 구축 사양 — 4xV620 GPU와 256GB DDR4 RDIMM을 활용한 가성비 추론 머신 구성함.
- 성능 최적화 — Qwen3.8-next-flash 모델로 1.3k prefill 및 70tg 속도를 달성함.
- 부품 가격 논쟁 — V620 GPU의 가격 급등과 지역별 가격 차이에 대한 사용자들의 의견이 갈림.
- 사용자 인증 — 동일한 컨셉으로 512GB RAM과 160GB VRAM을 구축한 다른 사용자의 인증이 이어짐.
집에 추론 서버 하나 맞췄다. 처음엔 Lenovo p620 워크스테이션 써보려고 했는데, 가성비는 괜찮아도 레노버 특유의 독자 규격 똥고집 때문에 개빡쳐서 결국 반품했다.
부품 구성:
4xV620 - 1400$
256GB DDR4 RDIMM 2666 - 610$
Huanandzhi D12D - 410$
EPYC 7452 - 170$
PSU ASRock 1600 - 220$
SSD Samsung 970EVO 1tb - 원래 있던 거
케이스//팬//기타 ~ 200$
이 정도 사양이면 전력 소모는 뭐 말할 것도 없지:
프리필 시 700-900w
Qwen3.8-next-flash Autoround W4A16 디코드 시 500-600w
성능은 이 정도 -
수정: vllm 포크에서 MTP-2 돌리고 128k+ 컨텍스트에서 Qwen3.8-next-flash Autoround W4A16 기준 프리필 1.3k, 코드 70tg/산문 60tg 나온다.
처음엔 이 기기랑 qwen3.8-27b 속도 보고 좀 실망했는데, Qwen3.8 next가 잘 돌아가니까 이제 만족한다. 앞으로 최적화 더 잘 되길 기대하는 중.
