r/LocalLLaMA•약 5시간 전•34•10
nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16 · 허깅페이스
nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16 · Hugging Face
핵심 요약
엔비디아에서 공개한 4B 파라미터의 루프형(latent-recurrent) LLM인 Dory1.0 모델에 대한 소식입니다.
- 모델 아키텍처 — 루프형 레이어와 하이브리드 어텐션을 결합하여 효율적인 연산 수행
- 컨텍스트 길이 — 최대 256K 토큰까지 지원하여 긴 문맥 처리 가능
- 활용 사례 — 소규모 환경에서 범용적인 추론 작업에 최적화됨
- 상업적 이용 — 상업적 및 비상업적 용도로 모두 사용 가능
huggingface.co
원문 사이트로 이동
총 파라미터
4B
아키텍처
Looped (latent-recurrent) normalized-GPT, interleaved sliding-window attention (SWA) 및 full-attention 레이어 적용
정밀도
BF16
컨텍스트 길이
최대 256K 토큰
지원 언어
영어
용도
가벼운 환경에서의 범용 추론
라이선스
OpenMDW License Agreement, version 1.1
출시일
2026년 10월 16일
NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16은 NVIDIA에서 학습시킨 Looped (latent-recurrent) 거대 언어 모델(LLM)임. 이 모델은 normalized-GPT 아키텍처를 기반으로, 하이브리드 sliding window attention(SWA)과 full attention 레이어를 교차 적용했음. 공유 레이어 블록을 반복적으로 사용하는 방식으로, Dory1.0-4B는 토큰당 더 많은 연산 자원을 투입해 지능을 확장할 수 있음. 이 모델은 상업적, 비상업적 용도 모두 사용 가능함.
