Showoff Saturday: 로컬 4x 6000 Pro 구축기 (수년에 걸친 발전 과정)
Showoff Saturday: Local 4x 6000 Pro (multi-year progression)
핵심 요약
개인용 로컬 AI 서버를 구축하며 3090에서 6000 Pro까지 수년간 발전시킨 하드웨어 구성과 활용 사례를 공유합니다.
- 하드웨어 발전 — 3090 여러 대에서 RTX 6000 Pro 4개 구성으로 업그레이드함
- 구축 동기 — 데이터 프라이버시 보호와 로컬 환경에서의 AI 연구 및 비즈니스 활용
- 기술적 난관 — PCIE 연결 문제, 전원 공급 장치 결함, 발열 관리 등 시행착오 겪음
- 주요 활용 — 스타트업 개발, 개인 비서 자동화, 로컬 AI 모델을 활용한 시스템 구축
제일 크거나 화려하진 않아도, 내 거니까 만족함
원래 쓰던 llama 모델을 돌리던 게이밍 머신에서 시작해서, 지금은 4x RTX 6000 Pro Max Q + 4x 3090s 조합의 로컬 AI 클러스터까지 왔다. 사진은 시간 역순으로 올렸음!
요즘 부품 가격이 미쳐 돌아가서 여기 빌드 공유도 뜸해졌길래, 나도 몇 년간 어떻게 변해왔는지 한번 올려본다. 이런 글 보는 거 좋아하거든. 목표랑 동기는 이거임: (1) 로컬에서 돌리기, (2) 내 개인 키랑 데이터는 클라우드에 절대 안 넘기기, (3) 공부할 맛 나는 환경 만들기.
빌드 타임라인
2023년 9월 AI에 제대로 꽂혀서, 원래 쓰던 게이밍 GPU에 3090 하나 더 달고 Llama 1 & 2 모델 돌리기 시작함.
-
2023년 12월 3090 하나 더 추가. 근데 당시 Goliath 120B(내 워크플로우에 쓸만한 첫 로컬 모델)를 돌리기엔 역부족이라 바로 업그레이드 계획 세움.
-
2024년 1월 기존 셋업은 실용성도 없고 방 안이 찜질방이 돼서, 제대로 된 AI 서버로 가기로 결심함. 여기 올라왔던 WOPR 컨셉을 거의 그대로 따라갔음(엔지니어링 샘플 CPU까지 똑같이). 사양: ASROCK ROMED8-2T, 64코어 AMD Epyc 7003 ES, 512GB DDR4, PCIE 슬롯 7개. 채굴하던 사람한테 6x 3090 채굴 프레임 세트를 통째로 사왔는데, 예산이랑 사양 딱 맞더라. 직접 만나서 카드 다 테스트해보고 샀는데, 한두 개는 죽어있거나 교체해야 했음. 직거래할 땐 무조건 테스트 필수다!
