중고 EPYC을 활용한 1만 달러짜리 R9700 4개 빌드: 머신당 384GB VRAM으로 3대 구축
4x R9700 builds with $127 used EPYCs: $10.7k all-in per machine. I built three (384GB VRAM)
핵심 요약
비즈니스 AI 운영을 위해 1만 달러 규모의 고성능 로컬 AI 서버 3대를 직접 구축한 사례 공유.
비용 효율적 빌드 — 중고 EPYC 프로세서와 R9700 GPU를 조합해 머신당 1만 달러로 384GB VRAM 확보함.
실제 비즈니스 활용 — 웹 데이터 추출 및 사실 검증 등 기업용 AI 워크로드에 로컬 모델을 도입함.
성능 비교 분석 — FP8과 MXFP4 정밀도 차이를 검증하고 기존 Mac Studio 대비 압도적인 처리량을 확인함.
다목적 활용 — 추론뿐만 아니라 CI/CD 파이프라인까지 병행하여 서버 효율을 극대화함.
며칠 전에 10인 규모 스타트업에서 4x R9700으로 빌드한 거 보고 나도 내 결과 공유하려고 글 쓴다. 난 예산 대부분을 그래픽카드에 쏟아부었거든. 스레드리퍼 대신 중고 EPYC을 써서 엄청 싸게 맞췄다. 다 합쳐서 박스당 10,700달러 정도 들었고, 총 3대를 만들어서 VRAM 384GB를 확보했어.
다른 계정으로 눈팅만 오래 했는데, 사람들이 모델을 실제로 어떻게 쓰는지 제대로 안 보여주는 게 항상 답답했거든. 그래서 고민 끝에 두루뭉술하게 말하지 말고 우리가 돌리는 프로젝트를 아예 까기로 했다.
난 이걸 내 사업인 USA Arms의 AI를 돌리는 데 쓴다. 총기 관련 업체(총기상, 탄약상, 사격장 등) 수만 곳을 정리하는 일을 하는데, 정보가 계속 바뀌니까 사이트를 항상 최신 상태로 유지할 시스템이 필요하거든. 모델이 소스 팩트를 체크하고, 업체 정보를 분류하고, 영업시간이나 서비스 같은 걸 뽑아내. 모든 답변은 에이전트가 실제로 확인한 내용이랑 대조해서 검증하고, 나중에 더 큰 모델이 작업 내용을 감사할 수 있게 문서로 저장해 둔다.
원래는 올해 말쯤에 업무 대부분을 로컬 AI로 옮길 생각이었는데, 2~3주 전부터 호스팅 모델들이 우리 사업에 필요한 일반적인 리서치조차 거부하기 시작하더라고. 총기상 라이선스 보유자가 개인일 수도 있다는 이유로 업체 식별을 거부하고, 탄약상 웹사이트는 탄약 구매를 도울 수 없다는 이유로 보지도 않더라. 우리 하네스가 이유 없이 자꾸 터지길래 그냥 직접 구축하기로 마음먹었지.
우리 워크로드에 맞춰서 Luna 6, DeepSeek, GLM 5.3, Qwen 3.8 27B, Gemma, Inkling이랑 Kimi, GLM Flash 같은 것들을 다 테스트해 봤는데, GLM 결과가 제일 좋았어. 가성비는 Qwen이 최고라 이걸로 돌리는 중이다.
잡담은 여기까지 하고, 수치 들어간다.
박스당 비용, 세금 및 배송비 포함 10,733.91달러 (3대 평균)
4x ASRock Radeon AI PRO R9700 Creator 32 GB (128 GB VRAM), 각각 210W 제한: 7,244.58달러
AMD EPYC 7452, 32코어, 중고: 127.17달러
ASRock Rack ROMED8-2T/BCM: 1,162.39달러 (전 세계적으로 품귀라 헬싱키에서 공수함)
8x 16 GB DDR4-2666 ECC RDIMM, 8채널 풀뱅크: 860.59달러
SilverStone HELA 2050R Platinum: 578.92달러
SilverStone RM44 4U: 388.40달러
Samsung 990 PRO 1 TB: 254.39달러
ARCTIC Freezer 4U-M, 전면 ARCTIC P12 Pro 3개, 후면 Noctua NF-A8 2개, SP3 프레임, 서멀 페이스트: 117.48달러
GPU 비용이 전체의 3분의 2를 차지하지만, 이 박스들로 우리 CI/CD도 돌린다. 이게 원래 우리 사업에서 병목 구간이었거든. 아무도 이 얘기는 안 하던데, 추론 우선으로 세팅하면 Rust 빌드도 아주 잘 돌아가. 테스트해 보니까 빌드랑 추론을 동시에 돌려도 처리량에 눈에 띄는 차이는 없었고, 빌드 속도만 3~8% 정도 느려지더라.
엔진
vLLM-Radiance 1.0.387 (vLLM 0.30.0, ROCm 7.14). Radiance 팀한테 진짜 고맙다. R9700 작업은 그쪽 거 그대로 씀.
Qwen/Qwen3.8-27B-FP8 (Qwen 공식 FP8 체크포인트), FP8 KV 캐시, 모델 자체 MTP 헤드(8 드래프트 토큰) 사용
박스당 엔진 2개, TP=2 설정, 엔진당 시퀀스 8개, 최대 컨텍스트 256K, 엔진당 KV 캐시 약 488K 토큰
결과, vllm bench serve, 박스 1대, 2x TP2 기준:
1 유저, MT-Bench: 53.1 tok/s, TTFT p50 125 ms
16 유저, MT-Bench: 총합 484 tok/s, 유저당 약 40 tok/s
16 유저, 랜덤 1024 in / 512 out: 총합 623 tok/s, 카드 4장 평균 837 W
32 유저 (max-num-seqs 32 벤치 프로필): 603 tok/s
MTP는 텍스트에 따라 성능 차이가 꽤 커. 우리 JSON 추출 작업에서는 드래프트의 83%가 수락됐는데(스텝당 7.6 토큰), MT-Bench에서는 39%(스텝당 2.7 토큰)밖에 안 나왔어. 그러니까 MT-Bench는 구조화된 출력 성능을 제대로 못 보여주는 셈이지.
긴 프롬프트, 8개의 고유한 실제 텍스트 프롬프트를 동시에 실행 (엔진당 4개), 128 out:
Context
Prefill
TTFT mean
Decode, all 8 streams
4K
7,044 tok/s
2.8 s
271 tok/s
8K
7,495 tok/s
5.3 s
219 tok/s
16K
7,241 tok/s
11.0 s
180 tok/s
32K
6,696 tok/s
24.0 s
178 tok/s
64K
5,961 tok/s
54.4 s
171 tok/s
4x 128K (TP=4, one engine)
3,344 tok/s
100 s
130 tok/s
4x 256K (TP=4, one engine)
2,719 tok/s
242 s
135 tok/s
모든 프롬프트는 고유했음 (프리픽스 캐시 히트 0%).
실제 워크로드에서의 FP8 vs MXFP4
스타트업 빌드에서는 MXFP4를 썼길래, 우리 자체 추출 벤치마크 워크벤치로 박스 하나에서 비교해 봤다 (Radiance의 가장 빠른 프로필 사용):
FP8: 98.0/100 정답, 시간당 4,477개 작업 검증
MXFP4: 95.3/100, 시간당 4,819개 작업
홀드아웃 세트 기준: FP8 94.0, MXFP4 90.0
그러니까 FP8을 쓰면 검증된 처리량이 2~7% 정도 줄어드는 대신 오답률이 거의 절반으로 줄어든다는 소리임. 시스템에 "가짜 정보"가 섞여 들어오는 게 진짜 골치 아픈 문제라, 이 작업에는 FP8을 고수하는 게 당연히 훨씬 이득이었음.
참고로 우리 Mac Studio 6대(M4 Max 128GB 4대, M3 Ultra 512GB 2대)로 MLX 8-bit 돌렸을 때 점수는 99/100이었는데, 6대 다 합쳐서 시간당 723개 처리하는 수준이었음. 원래 계획은 Mac을 더 사는 거였는데, 이 속도 맞추려면 최소 41대는 더 필요했고 돈으로 치면 28만 달러(약 3억 8천만 원)가 깨지는 상황이었음.
AI를 로컬에서 돌려보려는 입문자들을 위해 이번 빌드 과정을 영상으로 만들어 봤음:
질문 있으면 다 받음. 아마 첫 질문으로 Mac이 왜 이렇게 느리냐는 소리가 나올 것 같은데, 분명히 엄청 까이겠지 ㅋㅋ.
주요 댓글
r/localllama
고성능 로컬 AI 서버 구축에 대한 기술적 논의와 비용 효율성에 대한 의견이 오가며, 특히 초보자 대상 빌드라는 점에 대한 논쟁이 있었습니다.
3
:맙소사: 밈
2
속도 벤치마크 좀 더 올려주세요. 제가 알기로는 27B 모델만 올리신 것 같아서요.
1
어떤 벤치마크를 원하시나요? 이번 주에 4호기를 조립할 예정이라 벤치마크 돌려볼 수 있습니다.
2
공유해주셔서 감사합니다. 덕분에 Radiance를 알게 되어 테스트 중인데, 같은 카드에서 모델 여러 개를 돌릴 때 llama.cpp보다 훨씬 빠른 것 같네요.
2
EPYC 시스템에서 듀얼 5090 엔진으로 돌리면 프리필 20k/s, 디코더 2.4k tps 나오더군요. 5090은 nvfp4 설정의 Qwen 3.8 27B 모델에서 엄청난 성능을 보여줍니다. 동시성 32~64 기준입니다. 참고로 GLM 5.3 Flash와 Qwen Flash Next를 테스트해 본 결과 저와 같은 결론에 도달했는데, GLM Flash는 nvfp4에서 디코더 80 tps, 인코더 3000을 보여줍니다. QFN은 전문가 모델이 VRAM에 완전히 들어가고 높은 동시성에서 약 2000 tps의 훨씬 높은 디코더 성능을 내기 때문에 비용 면에서 더 낫습니다.
1
EPYC 시스템에서 듀얼 5090 엔진으로 돌리면 프리필 20k/s, 디코더 2.4k tps 나오더군요. 5090은 nvfp4 설정의 Qwen 3.8 27B 모델에서 엄청난 성능을 보여줍니다.
1
머신당 $10.7k (약 1,400만 원) 올인
초보자와 로컬 AI로 넘어가려는 사람들을 위한 빌드 영상을 만들었습니다
🤔
4
뭐가 혼란스러운지 모르겠네요. AI 장비 조립은 초보일 수 있어도 쓸 돈은 많을 수 있는 거잖아요.
1
멋지네요! 저도 같은 길을 걷기 시작했습니다 (개인정보 보호와 팅커링 가치 때문에요). 꽤 괜찮았지만 더 큰 모델에서의 디코더 속도에는 실망했습니다. 스택을 팅커링하는 데 시간을 더 쓰려고 2x Spark로 바꿨어요. 가격이 좀 덜 미쳤더라면 둘 다 해볼 수 있었을 텐데 아쉽네요!
1
글 잘 읽었습니다. 저도 MI100으로 아주 비슷한 구성을 쓰고 있는데 괴물 같은 성능이죠. 메인보드까지 똑같네요. API 문제로 그렇게 고생하신다니 놀랍습니다. 이런 프로슈머급 장비를 쓰는 다른 사람들은 어떻게 하고 있는지 궁금하네요. 저는 웹 데이터 추출 파이프라인이랑 ML 연구용으로 쓰고 있습니다.
1
제 주변 사람들을 보면 적어도 웹 추출, 아웃리치, 내부 자동화 쪽으로 많이들 활용하는 것 같습니다.
1
Flash-Next 대신 27B를 선택하신 이유가 뭔가요? 실행 가능한 개수 때문인가요, 아니면 다른 이유가 있었나요?
1
좋네요. 제 1,200유로짜리 4x 3060 빌드보다 조금 더 빠르네요. 가격은 10배나 비싼데 말이죠!
그런 걸 보면 초보자들이 겁먹고 도망가지 않을까요? 말씀하신 게 사실이긴 하지만, 그 머신이 대부분의 초보자가 시작할 만한 수준인가요?
3
제 주변 사람들은 기술 기업을 운영하는 사업가들이 많아서 1만 달러는 푼돈 수준입니다. 다들 올해 30만 달러 이상을 투자할 계획이라, 이건 특히 친구들이 Mac을 확장하는 것에 대한 반대급부로 빌드한 겁니다. (유튜브 영상에서도 친구가 Mac을 확장하는 내용이 나옵니다)
