내 거시기를 더 좋게 만들어주는 게 아니면, 난 필요 없어
If it doesn't make my PP better, I don't want it
핵심 요약
192GB VRAM을 갖춘 초고사양 AI 서버 구축기 및 활용 사례 공유.
- 하드웨어 사양 — 4090 4장과 192GB VRAM으로 구성된 강력한 AI 서버 구축
- 전력 및 발열 — 세탁기 전용 회선 사용과 효율적인 배기 시스템으로 온도 관리
- AI 활용 사례 — 음성 변조와 실시간 대화가 가능한 개인용 Jarvis 어시스턴트 운용
- 모델 성능 — Gemma 4 31B QAT와 MiMo V2.5 모델의 빠른 추론 속도 경험
주요 사양:
- 4 x 48GB 개조 4090 - 192GB VRAM
- 128GB DDR5
- Pro WS WRX90E-SAGE SE
- 3000w 파워 서플라이
- 240V/30A 건조기 전용 라인
Q. 건조기 라인에 서버 물리는 거 괜찮음?
A. 아니, 근데 또 어떻게 보면 개쩔지. 이 라인에 분배기 쓰는 건 규정 위반이라 건조기 돌릴 땐 서버를 꺼야 함. 아니면 20A로 돌아가는 작은 건조기를 사든가 해야지. 그리고 지난달에 세탁기 GFCI 때문에 유휴 상태에서 두 번이나 차단기 내려감. 그래서 듀얼 컨버전 순수 정현파 UPS 주문해 놨다. 집에서 이 방 말고는 답이 없음.
Q. 존나 뜨거움?
A. 개뜨거움. 근데 세탁실에 환풍기 달려있음. 온도계 설치해서 79°F 넘어가면 자동으로 배기되게 해놨는데, 생각보다 존나 잘 돌아감. 방 온도는 외부보다 겨우 몇 도 높은 수준임. 그래픽카드 자체는 아이들 상태일 때 손 건조기 반 개 정도, 풀로드 걸리면 손 건조기 2~3개급 열기 뿜어냄. 겨울엔 집 절반은 이걸로 난방 가능할 듯. 아직 카드 온도가 71°C 넘는 건 못 봤음.
Q. 시끄러움?
A. 개시끄러움. 그래도 방 밖으로 나가면 거의 안 들림.
사용 사례: 한동안 개인용 자비스급 비서를 만드는 중임. 프리미엄 음성 기능이 들어가 있는데, 특히 대화 도중에 목소리를 바꿔서 캐릭터 연기하는 게 진짜 미친 수준임. 개쩔어. 그 외에도 음성 인증, 웨이크 워드 기반 연속 대화, 턴제 대화, 장기 기억, 동적 시스템 프롬프트, 홈 어시스턴트 연동, 헤르메스 에이전트 연동, 심층 연구 기능까지 다 때려 박음. 집안 곳곳에 회의용 스피커 마이크 달아서 배치해 놨고. 물론 다른 것들도 이것저것 실험 중임.
성능:
Qwen 397B 고양자화 모델, MiniMax M3, Nemotron 3 Ultra, GLM 4.7, 그리고 뇌 빼놓은 수준의 GLM 5.2까지 별거 다 써봄. 근데 Gemma 4 31B QAT만큼 좋은 거 찾기가 진짜 힘들더라. 더 좋은 건 더더욱 없고. MiMo V2.5는 어제부터 돌려보고 있는데 꽤 괜찮음. 가끔 루프 타는 현상이 좀 있긴 한데, 모델 크기 대비 속도가 미친 수준임.
