r/LocalLLaMA•약 2개월 전•977•407
16x GB10 (DGX Spark) 클러스터 구축
Setting up of a 16xGB10 (DGX Spark) cluster
핵심 요약
로컬에서 최상위 수준의 LLM을 구동하기 위해 16개의 GB10 유닛으로 구성된 클러스터를 구축하는 프로젝트.
- 하드웨어 구성 — 16개의 Asus GX10 유닛과 100Gbps 네트워크 연결을 활용한 클러스터 구축.
- 구동 목표 — Deepseek v4, Kimi K3 등 최신 오픈 모델 및 2T+ 파라미터 모델 실행.
- 성능 논쟁 — 대역폭 중심의 하드웨어 평가 방식과 실제 클러스터 환경의 병목 현상에 대한 토론.
- 소음 관리 — Noctua 팬을 사용하여 고성능 장비임에도 정숙한 환경 구현.
로컬에서 최상위 수준의 오픈 모델을 구동하기 위해 준비 중임. Deepseek v4 pro, Kimi K3, 그리고 향후 나올 GLM 5.5나 Minimax M4 같은 모델들.
16개의 Asus GX10이 400 to 100gbit 브레이크아웃 케이블 4개와 Mikrotik crs804-4ddq 스위치로 연결됨.
아마 8개씩 클러스터를 나눠서 모델 2개를 돌릴 것 같지만, 필요할 땐 2T+ 파라미터 모델도 돌릴 수 있게 만들고 싶음.
