4x3090 + 192GB RAM, 가성비 메인보드와 CPU로 구축한 GLM5.2 홈랩
GLM5.2 @7tg on 4x3090 + 192GB on budget motherboard + cpu
핵심 요약
중고 3090 4개와 DDR5 192GB를 활용해 구축한 가성비 AI 홈랩 빌드 공유.
- 하드웨어 구성 — 중고 3090 4개와 192GB DDR5 RAM을 활용하여 구축함
- 운영 환경 — 리눅스 기반으로 전력 제한을 걸고 라이저 케이블과 M.2 어댑터로 연결함
- AI 모델 활용 — GLM5.2, MiniMax 2.7, Qwen3.6 등 다양한 모델을 로컬에서 구동함
- 구축 목적 — 기업용 자동화 워크플로우를 클라우드 의존 없이 로컬에서 처리하기 위함
5월부터 시작한 홈랩 컴퓨터를 드디어 완성했습니다. 3090 그래픽카드를 구하기 위해 지역 거래를 통해 신중하게 기다리며 3개를 구매했습니다. 판매자들은 모두 4090이나 5090으로 업그레이드하려는 게이머들이었고, AI에는 전혀 관심이 없더군요. 5200MHz DDR5 192GB를 구매해서 5600MHz로 오버클럭했습니다. 리눅스에서 3090들의 전력 제한을 각각 200W로 설정했습니다. 이베이에서 Aegis 완본체를 구매해 파워 서플라이를 1250W 플래티넘으로 교체했습니다. CPU와 수랭 쿨링 루프는 그대로 유지했습니다. 이 장비에 약 40시간과 6000달러를 투자했는데, 제가 하려는 작업에 완벽하다고 생각합니다.
저는 GLM5.2를 7tg로 플래너로 사용하고, MiniMax 2.7은 전부 VRAM에 올려 45tg로 코더로 사용합니다. 확산 모델로는 Flux2Klein을 쓰는데, 카드 4개를 다 썼을 때의 처리량은 아직 테스트 안 해봤지만 2개를 썼을 때는 배치 처리 시 이미지당 약 6초가 걸렸습니다. Qwen3.6 27B q8 모델을 체커 및 테스트 루프 모델로 50tg로 사용 중입니다.
소비자용 하드웨어를 고집한 이유는 재정적인 이유 때문입니다. ECC 램을 사용하는 서버는 더 많은 채널로 처리량을 두 배로 늘릴 수 있겠지만, 램과 스레드리퍼 가격이 거의 두 배로 듭니다.
저는 10개 이상의 기업을 대상으로 하는 현장 엔지니어로서 기업용 자동화 워크플로우를 구축합니다. 수년간 자동화를 즐겨온 1인 개발자로서, 이제는 태양광 전력을 이용해 로컬에서 쉽게 자동화를 구현할 수 있게 되었습니다. 이제 Claude나 OpenAI가 제 IP를 차단해도 별로 상관없습니다. 업그레이드 경로는 사실상 GPU 업그레이드뿐입니다. 나중에는 GLM 전용 서버를 구축할지도 모르겠지만, 데이터 센터에서 RTX6000 Pro를 쏟아내기 전까지는 지금 사양으로 충분합니다.
