64GB VRAM AI 소프트웨어 엔지니어링 PC 구축 경험
My experience building 64GB VRAM AI SWE assistant/agent PC
핵심 요약
OpenAI 의존도를 낮추기 위해 64GB VRAM을 갖춘 로컬 AI 개발용 PC를 직접 구축한 사례입니다.
- 하드웨어 구성 — RTX 3090 3대를 활용한 64GB VRAM 환경 구축
- 냉각 및 전원 — Meshify 2 XL 케이스와 1500W 파워를 사용한 최적화
- 소프트웨어 환경 — llama.cpp를 활용한 Qwen 27B 모델 구동
- 개발 워크플로우 — AI 에이전트를 보조 도구로 활용하는 수동 코딩 방식
OpenAI나 Anthropic 같은 데 구독 박아놓고, 나중에 이 찝찝한 기업들 구독 없으면 일도 못 하는 상황 되는 게 영 맘에 안 들어서 로컬 모델 쪽으로 눈을 돌렸어.
주기적으로 써보면서 나름 쓸만하다 싶었는데, 올해 들어서 확실히 내가 짜는 소프트웨어 구현 속도나 퀄리티에 도움이 되더라고. 근데 RTX 4080 16GB VRAM 하나만 쓰려니까 정밀도나 컨텍스트 윈도우 옵션이 너무 제한적이라, GPU를 더 박아서 모델 구동 능력이 얼마나 좋아지는지 테스트해 보기로 했지.
겪었던 문제들이랑 해결 방법은 다음과 같아:
-
(pic #1) 처음엔 Meshify 2 XL 케이스를 샀어. 가정용 풀 타워 케이스 중엔 제일 큰 편이지. 살 때 Meshify 3 XL도 있었는데, 그건 나일론 먼지 필터가 없어서 패스했어. Meshify 2 XL은 이론상 RTX 3090 FE 사이즈 GPU 4개까지는 들어가. 2개는 메인보드 PCIE 슬롯에 바로 꽂고, 나머지 2개는 워터 펌프 자리에 커스텀 수직 레일 만들어서 달면 되는데, 전면 흡기 팬을 가려버려서 쿨링이 좀 애매한 'GPU 샌드위치' 형태가 돼. 그래서 파워랑 메인보드 한계 때문에 GPU 3개만 달기로 했어. 온도는 꽤 준수한 편이야. 수직으로 세운 GPU가 전면 쿨러랑 가까워서 제일 시원하더라고.
-
파워는 Corsair HX1500i SHIFT(케이블 포트가 옆에 있는 거)를 샀는데, 비-SHIFT 버전이랑 비교했을 때 문제가 하나 있어. 8핀 포트가 총 6개밖에 안 돼서, 3x 8핀 GPU를 2개 넘게 못 달아(케이블 소켓 구성이 다르고, CPU 타입-5 케이블은 PCIE 타입-5랑 호환이 안 됨). 그래서 결론적으로 이 파워로는 3x 12VHPWR/3090FE 전용 커넥터나 듀얼 8핀 GPU 조합으로 3개까지만 가능해. 그래서 3x 8핀 3090 하나를 FE 모델로 바꿨어. 그리고 3090 두 개 다 혹시 몰라서 전력 제한 300W 걸어놨음.
-
(pic #2 and #3) 세 번째 GPU는 CoolerMaster V3 수직 마운트 어댑터를 썼어. 기본 제공되는 PCIE 라이저 케이블은 길이가 짧아서 빼버리고, 어댑터 자체에 구멍을 몇 개 뚫어서 상단 먼지 필터 홀더 뚜껑에 고정했어. GPU가 매달려 있는 형태라 뜨거운 바람을 위로 뿜어내게 만들었지. 튼튼해 보이긴 하는데, 혹시 몰라서 아래쪽에 지지대도 하나 받쳐놨어.
