RTX 6000 한 대 가격보다 저렴하게 768GB VRAM 구축하기
768gb vram for less than the price of one RTX 6000
핵심 요약
CMP 170HX 12개를 활용해 RTX 6000보다 저렴한 비용으로 768GB VRAM 시스템을 구축한 사례 공유.
- 가성비 빌드 — CMP 170HX 12개를 조합해 RTX 6000보다 저렴한 비용으로 768GB VRAM 확보함.
- 성능 검증 — vLLM과 llama.cpp를 활용해 GLM5.3, Qwen3.8 등 대형 모델을 원활하게 구동함.
- 커뮤니티 반응 — 괴물 같은 빌드에 감탄하면서도 중고가 상승과 전기 요금 등 현실적인 고민을 나눔.
- 기술적 팁 — CMP 170HX 언락 가이드와 vLLM 패치 등 최적화된 구동 방식을 공유함.
여기서 항상 가성비 빌드 관련 글만 올렸는데, 다들 다음 대형 모델들을 어떻게 돌릴 거냐고 자주 물어보더라고. 5tk/sec 나온다고 하면 안 돌아가는 거나 마찬가지라면서 비추 폭탄 날리는 놈들도 많았지. 근데 뭐 어쩌겠어, 더 큰 걸 돌리고 싶다는 갈망이랑 욕심 때문에 항상 벼랑 끝에 서서 꿀매물만 찾아다녔지.
이번에 새로 맞춘 빌드야. 12x64gb cmp170hx로 구성했고, RTX 6000 pro 하나 값도 안 들었어. 메모리 더 필요할 때 쓰려고 다른 본체랑 광케이블로 연결해서 RPC로 돌리는 중이야. 이거 맞추고 나서는 머신이랑 대화하는 게 훨씬 재밌어서 글도 잘 안 올렸네. GLM5.3, DSv4.1Flash, Qwen3.8Flash, Qwen3.8-2.4T, KimiK3, MiniMaxM3 돌리고 있는데 성능 죽여줘. RTX 6000 하나나 M3 맥 스튜디오 따위는 명함도 못 내밀 수준이지. vllm이나 llama.cpp로 추론 돌리는 중이야.
댓글로 API 쓰는 게 훨씬 싸다느니, 본전 뽑으려면 52광년은 걸린다느니, 소음이 어쩌고 전기세가 저쩌고 하는 소리들 달릴 거 다 알아. 근데 알 게 뭐야.
앞으로도 기회는 많을 거야. 계속 눈여겨보다가 기회 오면 바로 낚아채라고. 컴퓨팅 파워에 대한 수요는 앞으로도 한참 동안 엄청날 테니까.
