r/LocalLLaMA•3개월 전•402•59
NVIDIA, Nemotron 3 Nano 30B-A3B 기반의 독특한 확산 모델 'Nemotron-TwoTower-30B-A3B-Base-BF16' 공개
NVIDIA has released Nemotron-TwoTower-30B-A3B-Base-BF16, an unusual diffusion-based language model built from the Nemotron 3 Nano 30B-A3B backbone.
핵심 요약
NVIDIA가 기존 자동 회귀 방식보다 2.4배 빠른 추론 속도를 내는 새로운 확산 기반 언어 모델을 발표했습니다.
- 기술적 특징 — 자동 회귀와 확산 모델을 결합한 투 타워 구조로 토큰을 병렬 처리함
- 성능 지표 — 기존 자동 회귀 모델 대비 98.7%의 벤치마크 품질 유지 및 2.42배 빠른 생성 속도 달성
- 모델 구조 — 고정된 자동 회귀 컨텍스트 타워와 반복적으로 토큰을 채우는 확산 디노이저 타워로 구성됨
huggingface.co
원문 사이트로 이동
NVIDIA가 Nemotron-TwoTower-30B-A3B-Base-BF16을 출시했습니다. 이는 Nemotron 3 Nano 30B-A3B 백본을 기반으로 구축된 독특한 확산(diffusion) 기반 언어 모델입니다.
한 번에 토큰을 하나씩 생성하는 대신, 고정된 자동 회귀(autoregressive) 컨텍스트 타워와 반복적으로 토큰 블록을 병렬로 채우는 확산 디노이저 타워를 사용합니다. NVIDIA에 따르면, 이 기본 마스크 확산 설정은 자동 회귀 기준 모델의 총 벤치마크 품질을 98.7% 유지하면서도 생성 처리량은 2.42배에 달한다고 합니다.
