로컬 환경에서 이미지로 3D 모델 만들기 (<2GB RAM, <20초, 애플 실리콘, 아이폰)
Local Image to 3D (<2gb RAM, <20s, Apple Silicon, iPhone)
핵심 요약
애플 실리콘 기기에서 MLX를 활용해 이미지로 3D 모델을 빠르게 생성하는 앱 'Modelr'와 Swift 포트 공개.
- MLX 최적화 — 애플 실리콘에서 Hunyuan3D 모델을 효율적으로 구동함.
- 성능 벤치마크 — 2GB 미만 RAM으로 20초 내외의 빠른 3D 생성 속도 달성.
- Modelr 앱 — 이미지에서 3D 모델 생성 및 텍스처링을 실시간으로 지원함.
- 오픈 소스 공개 — Swift 앱 통합을 위한 소스 코드와 모델 가중치를 깃허브에 공유함.
드디어 Hunyuan3D-Paint와 Hunyuan3D-Shape의 swift-mlx/python mlx 포트 작업이 끝났다! M4 Max에서 FP16으로 돌려본 간단한 벤치마크 결과임:
| run | wall time | peak memory |
| --- | --- | --- |
| `hy3d shape` (small) | 20.9 s | ~5.6 gb |
| `hy3d shape` (large) | 22.3 s | ~7.3 gb |
| `hy3d paint` (rgb) | 231 s | ~38 gb |
| `hy3d paint` (pbr) | 344 s | ~39 gb |
MLX 덕분에 최신 맥은 물론 아이폰에서도 Q4나 Q8 양자화로 모델을 돌릴 수 있게 됐음. PyTorch나 CPU 오버헤드 없이 훨씬 효율적임. 이걸로 뭘 할 수 있을까? 솔직히 잘 모르겠음. 그냥 빙글빙글 돌아가는 앱용 3D 에셋 정도? 그래도 실제로 작동하는 걸 보니 진짜 재밌었음.
예전에 아이폰에서 돌아가는 거 올린 적 있는데, 궁금하면 확인해보셈.
앱은 아주 간단함. 이미지 불러오고, SwiftVision으로 배경 지우고, 디퓨전이 실시간으로 스트리밍되는 거 구경하다 보면 모델 완성! 텍스처링도 실시간으로 입혀지는 걸 볼 수 있음. 반응성 좋게 만들려고 노력했고, 맥에서 쓸 수 있는 가장 완성도 높은 앱으로 만들었음 (사실 지금 이 분야에선 유일한 앱이고, 11월부터 시작해서 네 번째로 만든 버전임).
Swift 앱에 빠르고 메모리 적게 먹는 Image to 3D 기능을 넣고 싶다면, 깃허브에서 가중치랑 소스 확인 가능함: github.com/ZimengXiong/Hunyuan3D-Swift
앱 'Modelr'도 오픈 소스고 iOS(기능 매우 제한적)랑 macOS에서 쓸 수 있음: github.com/ZimengXiong/Modelr