r/LocalLLaMA•27일 전•1512•220
인피니티 스톤을 다 모았다
핵심 요약
2.3TB RAM과 400개 이상의 vCore를 갖춘 이종 클러스터 구축 시도와 기술적 구현에 대한 질문이 이어짐.
- 이종 클러스터 구축 — 2.3TB RAM과 400개 이상의 vCore를 결합한 독자적인 인프라를 구성함.
- 기술적 구현 질문 — Blackwell GPU와 CPU 간의 추론 스택 분리 방법에 대해 커뮤니티의 의구심을 삼.
- Tinygrad 활용 — Apple의 JACCL 라이브러리와 Tinygrad 드라이버를 조합해 분산 처리를 시도함.
- 벤치마크 요구 — 거대 모델 구동은 가능하지만 구체적인 성능 지표를 공개하라는 반응이 지배적임.
2.3 TB의 RAM을 갖췄고, 400개 이상의 vCore를 사용함. 이제 Blackwell에 드라이버를 연결해서 RDMA만 구현하면 끝임. Blackwell은 prefill용으로 쓰고, RDMA는 스튜디오 메시를 통해 decode하는 방식으로. 아마 이게 최초의 이종 클러스터가 될 듯함. 다만, 이걸 작동시키려면 Tinygrad 드라이버 관련해서 도움이 좀 필요함. 이 분야에 지식 있는 사람 있으면 PM으로 연락 좀. 거의 다 왔음.
