NVIDIA Cosmos3(64B) INT4 양자화 모델 로컬 구동 (CUDA/MLX)
SOTA ImageGen Locally NVIDIA Cosmos3(64B) INT4 quants CUDA/MLX
핵심 요약
NVIDIA의 멀티모달 모델 Cosmos3(64B)를 로컬 환경에서 구동하기 위한 INT4 양자화 버전과 실행 가이드 공유.
- 모델 성능 — 64B 파라미터의 강력한 멀티모달 성능을 로컬에서 구현함
- 실행 환경 — Apple Silicon(M4 Max) 및 CUDA 환경에서 구동 가능함
- 양자화 지원 — INT4 양자화를 통해 고사양 모델의 로컬 접근성을 높임
- 활용 사례 — 텍스트, 이미지, 비디오, 오디오 및 물리적 동작 추론까지 지원함
Apple Silicon에서 돌려본 Cosmos3 INT4 T2I + I2V — 코드, 가중치, 그리고 Grok 비교
GitHub - https://github.com/gtrg55/cosmos3-quant-mlx-cuda
HF 가중치 - https://huggingface.co/JuliaML/Cosmos3-Super-Text2Image-4Step-INT4-G64-BF16
M4 MAX 128 GB Mac에서 클립 하나 뽑는 데 대략 5분 걸림
Cosmos3 - 64B 파라미터 모델


