Pro 6000 5개와 5090 1개로 구축한 GLM5.2 환경, 그 비싼 여정
GLM5.2 on 5x Pro 6000s and a 5090, an expensive journey
핵심 요약
개인용 LLM 구축을 위해 8만 달러를 들여 GPU 6개를 탑재한 워크스테이션을 만든 광기 어린 여정입니다.
- 하드웨어 구성 — Threadripper Pro 9975WX와 5x Pro 6000, 1x 5090 조합
- 냉각 문제 — 다중 GPU 발열 해결을 위해 커스텀 알루미늄 프레임과 대형 팬 사용
- 성능 체감 — 5개 GPU 구성으로 GLM 5.2 모델에서 99% 수준의 만족도 달성
- 비용 효율성 — 8만 달러 투자 대비 본전 회수까지 10년 이상 소요 예상
처음엔 그냥 적당히 하려고 시작한 일이었다. 이미 게임용으로 5090을 쓰고 있었는데, 하나 더 달면 행복해질 것 같았거든. 근데 이게 웬걸, 완전히 통제 불가능한 삽질의 늪으로 빠져버렸다.
모든 슬롯에서 PCIe 5.0 x16 속도를 풀로 뽑아내고 싶다는 욕심이 화근이었다. 그 뒤로 돈을 쏟아붓는 악순환의 고리가 시작됐지. 결정 하나하나가 더 골치 아픈 선택을 강요하는 악몽 같은 상황이었다. 게다가 당장 구할 수 있는 부품도 한정적이라 어쩔 수 없이 타협해야 하는 부분도 있었고.
메인보드부터 시작해서 거꾸로 거슬러 올라가다 보니 결국 이런 세팅이 완성됐다. 나름 '엔드게임'급을 노렸지만, 몇 가지는 타협할 수밖에 없었다.
Threadripper Pro 9975WX
WRX90 Sage SE
4×48 GB DDR5-6400 RDIMM
Antec 900 케이스 — 결국 쓰레기통행
처음엔 5090 두 장으로 시작했다. Antec 900은 빌드 퀄리티도 좋고 공간도 넓고 연결성도 깔끔하고 마감도 훌륭한데, 정작 GPU를 지지해 줄 장치가 하나도 없더라. 이 정도로 크고 비싼 케이스에서 이건 진짜 치명적인 결함이야. 그래서 난 이 케이스 절대 비추한다. 1달러짜리 지지대 하나만 넣어줬어도 10점 만점에 10점 줬을 텐데. 지지대가 없으니 직접 해결하지 않는 이상 거의 쓸모가 없다. 사진 보면 알겠지만 나도 직접 손을 봤지. 페라리 샀는데 기름 한 방울 안 넣고 배달받은 기분이었다고.
5090 두 장으로 작은 Qwen 모델들을 돌려봤는데, 처음엔 괜찮아 보였어. 근데 VRAM은 한정적이고 VL 같은 사이드카까지 붙이려니 뭔가 부족하더라고. 계획은 거창한데 모델이 너무 작아서 복잡한 걸 처리하기엔 역부족이었지.
그래서 Pro 6000을 처음 들였다. 5090이랑 섞어 쓰니까 텐서 분할이 좀 괴상해지긴 했는데, llama.cpp가 알아서 잘 배분하긴 하더라. 근데 이제는 120B 파라미터 모델을 돌리는데 컨텍스트 넣을 공간이 거의 없는 거야. 똑똑해지긴 했는데, 기억력은 금붕어 수준이 된 거지.
