구형 맥 프로, 여전히 현역으로 증명 중
Old Mac Pro still proving its worth
핵심 요약
2016년형 맥 프로 '쓰레기통' 모델을 활용해 최신 LLM을 구동하고 벤치마크한 사례.
- 하드웨어 재활용 — 2016년형 맥 프로의 D700 GPU를 리눅스 환경에서 Vulkan으로 구동함.
- LLM 성능 테스트 — Qwen 3.5 9B 모델 등을 구동하여 실사용 가능한 수준의 속도를 확인함.
- 의외의 성능 — 최신 M2 Max보다 특정 모델에서 더 나은 성능을 보여줌.
- 하드웨어 논쟁 — 구형 x86 장비와 최신 애플 실리콘 간의 효율성 및 성능 비교.
애플에서 가장 비싼 기기였던 '쓰레기통' 맥 프로, 2016년에 1만 파운드 가까이 주고 샀는데 지금 돈으로 치면 1만 4천 파운드 정도 됨.
최근까지는 쿠버네티스 단일 노드 개발 플랫폼으로 썼는데, 64GB 램이랑 24개 논리 코어 덕분에 딱이었음.
가장 강력한 자산인 D700 GPU 한 쌍은 수년간 거의 놀고 있었음... 그러다 어제 발견한 건데, 구형 Southern Islands 기반 GPU가 ROCm에서는 지원 안 돼도 새로운 드라이버와 리눅스 커널 덕분에 Vulkan에서는 지원된다는 사실을 알게 됨.
즉, llama.cpp가 12GB VRAM에 던져주는 거의 모든 모델을 돌릴 수 있다는 뜻임. 벤치마크 돌릴 시간이지?
Qwen 3.5 9B Q4 MTP — 11 t/s output at 70k context
Qwen 2.5 coder q4 — 22 t/s output at 70k context
엄청나게 빠른 건 아니지만 실사용은 충분히 가능함. 특히 '설정해두고 잊어버리면 되는' 계획 수립 작업에는 딱임.
근데 진짜 놀라운 건 Qwen 3.5의 계획 수립 결과물이 Claude Sonnet 4.6보다 압도적으로 좋다는 거임. Sonnet이 쩔쩔매던 복잡한 C# .NET 10 앱이랑 NuGet 패키지 관련 계획 수립을 Qwen은 그냥 구글링해서 해결해버림.
충격 그 자체 🤯
다들 아직 LLM 돌릴 수 있는 고대 유물 하드웨어 뭐 쓰고 있음?
