r/LocalLLaMA•약 5시간 전•107•21

nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB · 허깅페이스

nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB · Hugging Face

핵심 요약

엔비디아가 공개한 경량 언어 모델(SLM) Nemotron-3.5-Bolt-E4B에 대한 커뮤니티의 기술적 분석과 활용 기대감.

모델 성능 평가 — 기존 벤치마크의 한계를 지적하며 정성적 평가의 필요성 제기함
하드웨어 최적화 — 4B 이하 모델의 메모리 대역폭 효율성과 엣지 디바이스 활용 가능성 주목함
비동기 도구 호출 — 모델이 대화 중 도구를 호출하고 결과를 기다리는 기능에 높은 관심 보임
모델 생태계 — MiniCPM5-2B와의 성능 비교 및 abliterated 버전 부재에 대한 아쉬움 표출함

huggingface.co

원문 사이트로 이동

NVIDIA-Nemotron-3.5-Bolt-E4B-4GB는 NVIDIA가 Gemma-4-E4B-it을 기반으로 추가 학습시킨 소형 언어 모델(SLM)이야. Nemotron-3.5-Bolt-E4B는 Gemma의 강력한 대화 능력을 그대로 가져오면서, 다중 턴 도구 사용, 지시 이행, 입력 접지(input grounding) 능력을 더 끌어올렸어. 그래서 빠른 로컬 음성/기기 비서, 인터랙티브 페르소나, 임베디드/엣지 인터페이스에 딱이지. 메모리랑 TTFT(첫 토큰 생성 시간)를 적게 먹도록 설계돼서, 에이전트가 빠르게 반응하면서도 다른 앱이나 모델 파이프라인을 돌릴 여유 공간을 충분히 확보해 줘.

추론 가속(speculative decoding)을 쓸 거면 짝꿍인 DFlash drafter를 사용해. 풀 정밀도(BF16) 버전은 NVIDIA-Nemotron-3.5-Bolt-E4B-BF16에서 확인하면 돼.

이 모델은 상업적, 비상업적 용도 모두 자유롭게 쓸 수 있어.

https://huggingface.co/ggml-org/NVIDIA-Nemotron-3.5-Bolt-E4B-GGUF

https://huggingface.co/unsloth/NVIDIA-Nemotron-3.5-Bolt-E4B-GGUF

https://research.nvidia.com/labs/nemotron/files/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB-Technical-Report.pdf

원문

커뮤니티 목록

r/LocalLLaMA•약 5시간 전•107•21

nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB · 허깅페이스

nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB · Hugging Face

핵심 요약

엔비디아가 공개한 경량 언어 모델(SLM) Nemotron-3.5-Bolt-E4B에 대한 커뮤니티의 기술적 분석과 활용 기대감.

모델 성능 평가 — 기존 벤치마크의 한계를 지적하며 정성적 평가의 필요성 제기함
하드웨어 최적화 — 4B 이하 모델의 메모리 대역폭 효율성과 엣지 디바이스 활용 가능성 주목함
비동기 도구 호출 — 모델이 대화 중 도구를 호출하고 결과를 기다리는 기능에 높은 관심 보임
모델 생태계 — MiniCPM5-2B와의 성능 비교 및 abliterated 버전 부재에 대한 아쉬움 표출함

huggingface.co

원문 사이트로 이동

추론 가속(speculative decoding)을 쓸 거면 짝꿍인 DFlash drafter를 사용해. 풀 정밀도(BF16) 버전은 NVIDIA-Nemotron-3.5-Bolt-E4B-BF16에서 확인하면 돼.

이 모델은 상업적, 비상업적 용도 모두 자유롭게 쓸 수 있어.

https://huggingface.co/ggml-org/NVIDIA-Nemotron-3.5-Bolt-E4B-GGUF

https://huggingface.co/unsloth/NVIDIA-Nemotron-3.5-Bolt-E4B-GGUF

https://research.nvidia.com/labs/nemotron/files/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB-Technical-Report.pdf

주요 댓글

r/localllama

NVIDIA의 새로운 Nemotron-3.5-Bolt-E4B 모델에 대해 메모리 통합 능력은 개선되었으나, 반복적인 환각 현상과 기존 모델 대비 벤치마크 성능에 대한 의문이 제기되고 있습니다.

혹시 '맛' 벤치마크 같은 거 없나? 우리 모두의 사용 사례를 모아서 2달마다 업데이트되는 로컬라마 벤치마크를 만들면 어떨까?

이 모델들을 평가하는 건 이제 불가능한 수준이고, 기존 벤치마크들은 진짜 아무런 의미가 없음.

나도 모델을 구매하기 전에 미리 '맛'을 좀 보고 싶네.

맛있겠네

그건 '맛'이라서 정량적이지 않고 정성적인 거니까, '모델 스타일 벤치마크가 아닌 것'이 있지 https://msnab.pages.dev

난 하네스나 스킬도 중요하다고 봄. 예를 들어 내가 그 벤치마크를 돌리면 내 QFN IQ3_S는 프론트엔드 디자인 스킬이랑 브라우저를 써서 어떻게 보이는지 확인하거든.

Q3.8 27B가 Gemma 4 26B-A4B보다 성능이 낮게 나온 벤치마크 기준이 뭔지 궁금하네. 표에 롤플레잉 벤치마크도 언급했던데. 아마 휴대폰에 들어갈 개인 비서용으로 맞춰진 거라 대화 능력이 중요한 듯.

Gemma-4-E4B-it보다 벤치마크 결과가 좋았던 MiniCPM5-2B랑 비교하면 어떨지 궁금하네.

엔비디아의 4B 이하 모델 아키텍처가 진짜 마음에 듦. 내가 벤치마크 돌리는 하드웨어에 딱임. 최소한 파인튜닝을 할 의향이 있다면 말이지. 리퍼비시 사무용 컴퓨터(보통 인텔 12세대 i5에 24GB 램 플렉스 모드)에서 SLM을 엄청나게 돌려봤는데, 구형 CPU나 GPU를 써도 병목은 항상 메모리 대역폭임. 2만 토큰 이상의 컨텍스트 윈도우로 돌렸을 때 프리필이랑 디코딩 속도가 얼마나 나올지 확인해봐야겠음.

난 메모리 추출, 유지, 통합 용도로 Gemma E4B를 써서 이것도 직접 비교 테스트해 봄. + 메모리 통합 훨씬 나음 (중복된 사실들 합치기) + 긴 컨텍스트에서 리콜 더 좋음 - 추출 과정에서 핵심 사실들을 누락함 - 여러 번 돌려봤는데 사실을 환각함. 개인적으로는 반복되는 환각 때문에 그냥 Gemma 계속 쓸 듯.

어떤 퀀트로 테스트했어? 둘 다 q4km임? Nemo 3.5 4GB랑 G4 e4b qat q4_0 비교했으면 흥미로웠을 텐데.

좀 이상한 파인튜닝이네. 텍스트 전용이라고 광고하고 64k 컨텍스트 지원한다고 하는데, 기술적으로는 이미지/오디오랑 128k도 지원함. 그냥 광고를 안 할 뿐이지. 아마 4GB 램 제한을 넘겨버려서 그런 걸지도 (GGUF 사이즈가 이미 6GB라 원본보다 1GB 더 크니까). 그리고 8개월 전 모델인 Qwen3.5 4B Q4_K_M이 걔네 리스트에 있는 벤치마크 8개에서 여전히 이기던데.

원문r/LocalLLaMA