Nemotron 3.5 Bolt는 소규모 다중 사용자 환경에 적당함
Nemotron 3.5 Bolt is okayish for small multiuser setups
핵심 요약
Nemotron 3.5 Bolt는 지능은 평범하지만, 효율적인 KV 캐시와 대용량 컨텍스트 처리 능력으로 소규모 다중 사용자 환경에 적합한 모델입니다.
- 모델 효율성 — 2비트 양자화와 Mamba2 레이어 조합으로 KV 캐시 효율이 매우 뛰어남
- 컨텍스트 처리 — 메모리 점유율이 낮아 수백만 개의 컨텍스트 토큰을 처리할 수 있음
- 성능 평가 — 27B 모델 대비 약 2배 빠른 속도를 보이며 할루시네이션 방지에 강점이 있음
- 사용 사례 — 소규모 비즈니스 환경이나 다중 사용자 동시 접속 상황에 최적화됨
Nemotron Ultra가 잘 처리하던 작업에 쓸 만한, 27B보다 빠른 모델을 찾고 있었음. Ultra는 출시 때부터 성능이 영 별로였는데, 그래도 openrouter에서 공짜로 풀려 있으니까 돌아가기만 하면 장땡 아니냐는 생각으로 썼거든. Bolt도 처음 봤을 땐 그냥 거르는 게 답인 모델 같았음. 양자화 기술은 좀 신박하긴 한데, 27B나 Flash Next 같은 놈들이 굴러다니는 마당에 굳이 싶었지. 근데 내 128 GB 환경(4x MI100)에 딱 맞는 사이즈고, 애초에 Sparks용으로 나온 거라 한번 찍먹해봄.
Bolt 관련해서 흥미로운 점 몇 가지:
-
디코더는 2 bit 양자화고, 나머지 민감한 부분들은 기본 모델 기준으로 NVFP4임. 다른 양자화 버전도 있지만 가중치 대부분이 저걸로 되어 있음.
-
선형 어텐션(Mamba2) 5개 층마다 풀 어텐션(GQA) 1개 층이 들어감. Qwen3가 선형 4개당 풀 1개인 거랑 비교하면 비율이 더 낮음.
-
어텐션 폭이 Qwen3보다 훨씬 좁아서 30k 컨텍스트가 200 MB밖에 안 먹음. Flash Next는 500 MB, 27B는 952 MB 먹는 거 생각하면 엄청난 거지. 256k 컨텍스트도 Bolt는 1 GB인데, FN은 3.4 GB, 27B는 8.5 GB나 처먹음. 새로 나온 Nemotron Super도 어텐션 구조가 똑같아서 수치도 같음. 내가 본 바로는 DS v4.1 Flash 빼고는 요즘 나오는 모델 중에 KV 캐시 효율은 이 Nemotron 시리즈가 제일 좋음.
-
사실상 REAP 적용된 Nemotron 3.5 Super에 추가로 후학습(post training) 좀 더 먹인 거임.
요즘 기준으로 지능이 엄청 뛰어난 건 아닌데, Qwen3.6 27B랑 비슷한 수준이라 나쁘지 않음. 그래도 확실히 괜찮은 점은 환각 현상이 적다는 거임. 웬만한 상위 모델보다 나음. 테스트해보니까 여러 번 대화 이어가도 딴길로 잘 안 새고, 해결책 내놓기 전에 진단이랑 검증을 빡세게 돌리는 경향이 있음.
