r/LocalLLaMA•약 3시간 전•187•100논쟁
nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB · 허깅페이스
nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB · Hugging Face
핵심 요약
24GB VRAM에서 구동 가능한 2비트 양자화 기반의 고성능 비전-언어 모델 Nemotron 3.5 Bolt가 공개되었습니다.
- 모델 사양 — 74B 파라미터(9B 활성)를 2비트 양자화로 24GB VRAM에 최적화함
- 성능 균형 — 밀집 모델보다 빠르고 유사한 메모리 점유의 MoE 모델보다 뛰어난 지능 지향
- 기술적 특징 — Mamba-2-Transformer 하이브리드 구조 및 256K 컨텍스트 지원
- 상업적 활용 — 상업적/비상업적 용도로 모두 사용 가능한 오픈 모델
huggingface.co
원문 사이트로 이동
https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF
https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr-GGUF
NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB는 일상적인 에이전트 작업을 로컬에서 돌릴 수 있게 설계된 비전-언어 모델(VLM)이야. 네이티브 2비트 양자화를 써서 24GB 메모리에 딱 맞게 들어가니까 다른 앱이랑 같이 띄워놓고 쓰기 좋지. GB당 지능이랑 속도를 극한으로 뽑아냈어. 속도랑 지능 사이에서 최적의 밸런스를 맞추는 게 목표인데, 비슷한 메모리 용량을 쓰는 웬만한 MoE 모델보다 똑똑하면서도 대중적인 덴스 모델들보다는 훨씬 빠르다고 보면 돼.
이 모델은 상업용, 비상업용 상관없이 그냥 갖다 쓰면 돼.
모델 요약
| Total Parameters | 74B (9B active) |
|---|---|
| Architecture | Mamba-2–Transformer hybrid LatentMoE with a C-RADIO v4-H vision encoder |
| Precision | IQ2 (2-bit quantization with quantization-aware training) |
| Context Length | Up to 256K tokens |
| Inputs / Outputs | Text, images, and video / text |
| Deployment | 24GB packed model; vLLM on NVIDIA Ampere (A100), Hopper (H100-80GB), or Blackwell |
| Speculative Decoding | LiLiCorr drafter via DFlash; 7 speculative tokens in the companion Bolt vLLM recipes |
| Reasoning Mode | Chat-template controls (enable_thinking=True/False), inherited from the Super 3.5 VL client |
| Recommended Sampling | Text: temperature 1.0, top_p 0.95 (inherited from the Super 3.5 VL client) |
