드디어 LLM 서버 구축 완료: EPYC 9575F, RTX 3090 4개(96GB VRAM), 768GB ECC RAM

핵심 요약

EPYC 9575F와 RTX 3090 4개를 탑재한 고성능 LLM 서버 구축기입니다.

하드웨어 사양 — EPYC 9575F CPU와 768GB ECC RAM, 4개의 RTX 3090으로 구성됨

서버 용도 — vLLM을 활용한 소형 모델 처리 및 llamacpp 기반의 추론 모델 구동

냉각 및 배치 — Corsair 9000D 케이스와 추가 팬 마운트를 활용해 효율적인 공기 흐름 확보

운영 계획 — 전력 제한을 통해 추론 성능 최적화 및 NPC AI 시뮬레이션 통합 예정

시간은 좀 걸렸지만, 드디어 Nalthis를 조립하고 가동했어.

사양:

사용 계획:

우주 시뮬레이션을 만들고 있는데, 드디어 NPC들의 계획 수립 과정에 AI를 통합할 준비가 됐어. 많은 요청을 처리하는 소형 모델에서 괜찮은 처리량을 얻길 기대하고 있어.

원래 계획은 MCIO 라이저와 커스텀 마운트를 훨씬 많이 사용하는 거였는데, 3090 두 개는 메인보드에 직접 장착하고 나머지 두 개는 전면에 장착할 수 있었어.

이 서버는 주로 LLM 추론용이라 4개의 카드 모두 전력을 250W로 제한해서 돌릴 계획이야.

9000D 케이스는 RTX 3090 4개 빌드치고는 놀라울 정도로 괜찮았어. 추가적인 공기 흐름을 위해 이런 팬 마운트도 사용했어:

아직 열 테스트를 끝내야 하지만, 하드웨어 쪽은 드디어 끝났어.

클러스터 운영 책임자: 스태니스(Stannis)도 소파에서 지휘 중

핵심 요약