16개 Spark 클러스터 (빌드 업데이트)
핵심 요약
16개의 DGX Spark 노드를 연결해 2TB 이상의 통합 메모리 환경을 구축한 개인용 HPC 클러스터 빌드.
- 통합 메모리 환경 — 16개의 DGX Spark 노드를 연결해 2TB 이상의 대용량 모델을 구동함.
- 프리필/디코드 분리 — 클러스터로 프리필 성능을 극대화하고 추후 Mac Studio를 추가해 디코드 성능을 보완할 계획임.
- 네트워크 구성 — 200Gbps 패브릭 스위치를 통해 노드당 100Gbps 이상의 대역폭을 확보함.
- 하드웨어 스펙 — 4090 워크스테이션, H100 NVL, GH200 등 고성능 장비가 포함된 풀 랙 구성임.
빌드 완료. 패브릭에 16개의 DGX Spark를 연결했고, 모두 라인 속도를 달성함.
셋업은 시간이 좀 걸렸지만 솔직히 예상보다 수월했음. 각 Spark는 Nvidia 버전의 Ubuntu가 기본으로 설치되어 있어 거의 모든 것이 준비된 상태였음. 셋업을 위해 랙에 장착하고, 전원을 켜고, 모든 노드에 동일한 사용자/비밀번호를 생성하고, 노드당 업데이트에 약 20분 정도 기다린 다음, 비밀번호 없는 SSH, 점보 프레임, IP 등을 구성했는데 시간을 아끼려고 스크립트로 처리했음.
각 Spark는 단일 QSFP56 케이블로 FS N8510 스위치에 연결됨. DGX Spark는 두 개의 NIC 인터페이스를 각 포트에 본딩하므로 케이블 하나로 듀얼 레일을 사용할 수 있음. 레일당 100~111Gbps가 나오는데, 이를 합치면 광고된 200Gbps가 됨.
왜 H100이나 GB300 대신 이걸 선택했나?
통합 메모리 때문임. 핵심은 Nvidia 생태계 내에서 통합 메모리 용량을 극대화하는 것임. 8개 노드로 GLM-5.1-NVFP4(434GB)를 TP=8로 구동했음. 이제 DeepSeek와 Kimi로 테스트해 볼 예정.
장기적인 계획은 프리필/디코드 분리임. Spark 클러스터가 프리필(대규모 병렬 처리량)을 담당하고, M5 Ultra Mac Studio가 출시되면 랙에 2~4대를 추가해 디코드를 담당하게 할 것임.
—
풀 랙 구성 (위에서 아래로):
- 1U 브러시 패널
- OPNSense 방화벽
- Mikrotik 10Gb 스위치 (인터넷 업링크)
- Mikrotik 100Gb 스위치 (HPC to NAS)
- 1U 브러시 패널
- QNAP 374TB 올 U.2 NAS
- 관리 서버
- 듀얼 4090 워크스테이션
- 백업용 듀얼 4090 워크스테이션 (동일 사양)
- FS 200Gbps QSFP56 패브릭 스위치 (Spark 클러스터)
- 1U 브러시 패널
- 8x DGX Spark 쉘프 1
- 8x DGX Spark 쉘프 2
- 2U 스페이서 패널
- SuperMicro 4x H100 NVL 스테이션
- GH200
