r/LocalLLaMA•5개월 전•363•111
2x 512GB RAM M3 Ultra 맥 스튜디오
2x 512gb ram M3 Ultra mac studios
핵심 요약
25,000달러 규모의 고성능 맥 스튜디오 환경에서 로컬 LLM 구동 성능을 테스트하려는 사용자의 공유.
- 하드웨어 사양 — 512GB RAM을 탑재한 M3 Ultra 맥 스튜디오 2대를 활용한 로컬 LLM 구동 환경 구축함.
- 성능 테스트 — DeepSeek V3.2 및 GLM 5.1 모델을 구동하며 로컬 환경에서의 추론 성능을 확인 중임.
- 기술적 한계 — 대규모 모델 구동 시 첫 프롬프트 주입 속도와 동시 요청 처리 시의 병목 현상이 주요 과제로 언급됨.
- 커뮤니티 반응 — 고성능 하드웨어에 대한 부러움과 함께 로컬 LLM의 프라이버시 및 소유권 가치에 대한 공감대가 형성됨.
하드웨어에만 2만 5천 달러를 썼습니다. 어떤 모델을 돌려보고 싶은지 알려주시면 테스트를 도와드리겠습니다.
지금까지 exo 백엔드를 사용하여 DeepSeek V3.2 Q8을 돌려봤습니다.
현재 각각 GLM 5.1 Q4를 실행 중입니다(exo가 왜 Q8 버전을 로드하지 못하는지 문제 해결 중).
커뮤니티에서 MLX/mmap용으로 최적화해주기를 기다리며 Kimi 2.6을 조용히 기다리는 중입니다.
