r/LocalLLaMA•5개월 전•133•59
Tinygrad 드라이버 테스트!
Tinygrad Driver testing!
핵심 요약
Blackwell과 M3 Ultra 클러스터에서 Tinygrad 드라이버 성능을 테스트하며 벤치마크 아이디어를 구하는 글.
- 하드웨어 구성 — Blackwell 5k 72GB와 M3 Ultra RDMA 클러스터를 활용한 고성능 환경 구축.
- 벤치마크 요청 — DS V4, MiMo V2.5 등 최신 모델과 추론 엔진의 성능 테스트 아이디어 수집.
- 커뮤니티 소통 — 디스코드 스트리밍과 X 계정을 통해 테스트 과정과 결과를 공유할 예정.
- 기술적 실험 — 공유 전문가와 KV 캐시 오프로딩 등 최적화 성능 측정 계획.
Blackwell + M3 Ultra RDMA 클러스터에서 MoE 속도를 테스트해 보려고 함. 여기 램이 2TB 조금 안 됨. 다들 아이디어를 공유하고 재미있는 실험을 해보고 싶음. 어떤 벤치마크를 보고 싶음?
EDIT: 이 글에 관심이 많아서 서브레딧 디스코드에서 스트리밍할 예정임. 뭘 하고 싶은지 알려주면 리스트에 추가하겠음! X에서 나를 팔로우하셈 @mlx_reaper
