Exo Labs, M5 Ultra Mac Studio 클러스터링으로 4.8TB/s 메모리 대역폭 주장
Exo labs claiming 4.8 tb/s memory bandwidth through m5u Mac Studio clustering
핵심 요약
Exo Labs의 Mac Studio 클러스터링 대역폭 주장에 대해 기술적 회의론과 실효성 논란이 이어지고 있습니다.
- 대역폭 주장 논란 — 단순히 모든 메모리 채널의 대역폭을 합산한 수치일 뿐이라는 비판이 제기됨
- 엔터프라이즈 타겟팅 — 개인보다는 소규모 조직의 프라이빗 추론 환경 구축을 겨냥한 솔루션으로 보임
- 개발 현황 의문 — 최근 4개월간 업데이트가 없고 커뮤니티 소통이 부족해 프로젝트 지속성에 의구심이 듦
- 하드웨어 선택 고민 — 클러스터링의 복잡성보다는 단일 256GB 모델의 안정성과 확장성이 선호됨
Exo labs에서 아주 흥미롭고 기대되는 주장들을 내놓고 있네. 핵심은 자기들 솔루션을 쓰면 Mac Studio 클러스터에서 대역폭이 선형적으로 확장된다는 거야. localllm 서브레딧(https://www.reddit.com/r/LocalLLM/s/qEYLOFaYwc )에 가보면 거기 직원 하나가 자기네 RDMA 클러스터링 솔루션에서는 대역폭보다 지연 시간(latency)이 훨씬 중요하다고 떠드는 스레드가 있어.
내가 예전에 m5u 96gb 2대 클러스터랑 m5u 256gb 단일 모델 중에 고민하는 글을 올렸거든. 다들 TB5 대역폭 제한 때문에 256gb 단일 모델로 가라고 추천하더라고. 근데 그때는 다들(나 포함) Exo가 이런 주장을 하는 걸 몰랐던 것 같아.
뭐 어쨌든 난 그냥 256gb 주문한 거 유지할 생각이야. 근데 이 소식 듣고 나니까 96gb 스튜디오 여러 대 묶어서 클러스터로 가는 도박도 한번 해볼 만한 가치가 있지 않나 싶네. 그래도 결국엔 256gb로 갈 거야. 나중에 필요하면 256gb 한 대 더 사서 처리 성능이랑 램을 동시에 늘릴 수 있는 유연성이 있으니까. 운 좋으면 2년 뒤에 리스 끝난 중고 매물 싸게 건져서 전체 비용을 낮출 수도 있겠지 ;)
