r/LocalLLaMA•약 4시간 전•388•88
NVIDIA Nemotron Bolt 3.5 74B A9B, 10월 15일 출시
NVIDIA Nemotron Bolt 3.5 74B A9B releases Oct. 15th
핵심 요약
24GB VRAM에 최적화된 74B 파라미터 MoE 모델인 Nemotron Bolt 3.5가 공개되었습니다.
- 모델 사양 — 74B 파라미터 MoE 구조로 24GB VRAM에 2비트 양자화 적용됨
- 성능 목표 — 속도와 지능의 최적 균형을 통해 기존 모델 대비 효율성 극대화
- 사용 목적 — 범용 모델보다는 사용자가 직접 파인튜닝하여 활용하는 캔버스 역할
- 커뮤니티 반응 — 모델의 유용성에 대한 의견이 갈리며 llama.cpp 지원 여부에 관심 집중
blogs.nvidia.com
원문 사이트로 이동
이 모델은 74B 파라미터, 9B 활성 파라미터 규모의 MoE(Mixture-of-Experts) 모델인데, 고급 양자화 인식 학습 기법을 써서 2비트로 압축해 24GB 용량에 때려 박았음. 속도랑 지능 사이에서 최적의 밸런스를 잡는 게 목표고, 비슷한 메모리 점유율을 가진 다른 MoE 모델들보다 똑똑하면서도 웬만한 인기 덴스 모델들보다 훨씬 빠름.
Nemotron 3.5 Bolt E4B 4GB 10월 23일 출시
