닭장 옆 창고에 차린 AI PC
Chicken-coop shed AI PC
핵심 요약
소음과 발열 문제로 닭장 옆 창고로 이사한 256GB VRAM 구성의 강력한 로컬 AI 서버 구축기입니다.
- 하드웨어 구성 — 170HX 4개와 스레드리퍼, 256GB RAM으로 구축됨
- 이전 이유 — 가정 내 소음과 발열 문제로 창고로 서버를 옮김
- 운영 환경 — 에어컨과 전용 전력 회로를 갖춘 최적의 환경 조성
- AI 모델 — QFN 및 Qwen 모델을 활용한 로컬 추론 테스트 진행 중
몇 주 전에 누가 화장실에 AI PC 설치한 거 올렸길래, 나도 닭장 옆 창고에 박아둔 내 AI PC 자랑 좀 하려고.
처음엔 CMP 170HX 하나(64GB로 언락함)로 시작했는데, 정신 차려보니 3개 더 늘어서 VRAM만 총 256GB가 됐네. 중고로 Threadripper랑 TRX40 메인보드, DDR4 256GB RAM 묶인 거 싸게 업어와서 170HX 4개 굴리는 중임. 화면 출력이나 RDP용으로 NVME 슬롯에 라이저 카드 꽂아서 3050 하나 달아놨어. 케이스 공간이 모자라서 보드 하나는 그냥 대롱대롱 매달려 있음 ㅋㅋ.
원래는 로컬에서 AI 돌려서 돈 좀 아껴보려고 시작한 건데, 어쩌다 보니 170HX 4개에 32코어 Threadripper까지 달게 됐네. 와이프가 이제 이건 취미가 아니라 집안 경제 말아먹는 주범이라는데... 아프다.
처음엔 옷장에 넣어놨는데, 열기 때문에 쪄 죽을 것 같고 와이프가 소음 때문에 하도 지랄해서 결국 GPU들은 창고로 유배 보냈음. 지금은 에어컨 빵빵하고 20암페어 콘센트 2개 따로 빼서 회로 분리까지 해놔서 아주 살판났지. 파워 서플라이마다 하나씩 물려놨음. 이제 소음 줄이려고 팬 커브 조절할 필요도 없다.
지금은 170HX 2개에 캐패시터 모드 해서 QFN 돌리고, 나머지 하나에 Qwen3.8-27B 돌리는 중임. 오늘 4번째 170HX까지 설치 끝냈다. 이제 GLM 5.3 Flash EXL3 4.65 bpw 받아서 4개 다 꽂으면 어떻게 돌아갈지 테스트해 볼 예정.
이 괴물 같은 놈이 Qwen4는 어떻게 돌려줄지 진짜 기대된다. 지금 QFN만 해도 워낙 잘 돌아가서 Qwen 4는 대체 얼마나 미친 성능일지 상상도 안 가네.
