r/LocalLLaMA•약 2시간 전•26•10
10인 스타트업을 위한 4x R9700 빌드 구축
Building a 4x R9700 setup for a 10 person startup
핵심 요약
10인 스타트업을 위해 128GB VRAM을 갖춘 4x R9700 기반의 로컬 AI 서버 구축 사례입니다.
- 하드웨어 사양 — Threadripper 9970x와 4개의 R9700 GPU로 128GB VRAM 구성함
- 성능 지표 — Qwen 3.8 27b 모델로 16개 세션 동시 처리 및 높은 토큰 처리량 달성
- 비용 효율성 — 1만 8천 달러 규모의 투자가 로컬 모델 운영의 타당성을 입증함
- 운영 환경 — Radiance 포크 버전을 사용하여 Qwen 및 DSV4 모델 서빙
클라이언트 의뢰받아서 작업 중인 빌드 하나 공유한다.
사양:
Threadripper 9970x
128gb DDR5 ECC 5600
4x AMD Radeon R9700 AI Pro 32gb(총 128gb VRAM)
1600W PSU(GPU는 언더볼팅해서 개당 210w 미만으로 세팅)
엔진: Radiance 포크 버전 사용 중, Qwen 3.8 Next flash/27b 및 DSV4 Flash 구동용
결과:
16개 동시 세션
Qwen 3.8 27b MXFP4
6.3-6.8k 합산 prefill tok/s
900 t/s - 80t/s 합산 decode(범위: 각각 4k - 128k 컨텍스트)
Qwen 3.8 Next flash
48K/사용자 | 6,880 tok/s | 538.5 tok/s 합산 prefill/decode
128k/사용자 | 3,050 tok/s | 365 tok/s 합산 prefill/decode
전부 BF16 kv 사용.
