r/LocalLLaMA•약 6시간 전•34•15
boro64/Ternary-Nemotron-3.5-Lightning-30B-A3B-GGUF · 허깅페이스
boro64/Ternary-Nemotron-3.5-Lightning-30B-A3B-GGUF · Hugging Face
핵심 요약
12GB VRAM에서 368K 컨텍스트를 지원하는 1.58비트 30B-A3B MoE 모델이 공개되었습니다.
- 모델 사양 — 1.58비트 30B-A3B MoE 구조로 12GB VRAM에서 구동됨
- 성능 지표 — 368K 컨텍스트와 초당 172토큰의 디코딩 속도를 제공함
- 엔진 호환성 — llama.cpp 및 PrismML 포크에서 모두 사용 가능함
- 추가 요청 — CPU 전용 성능 및 10GB 이하 VRAM에서의 구동 결과 공유를 요청함
huggingface.co
원문 사이트로 이동
Ternary Nemotron 30B-A3B — 12GB GPU에서 368K 컨텍스트 구동 (GGUF)
12GB GPU에서 368K 컨텍스트로 돌아가는 3진법(1.58-bit) 30B-A3B MoE 모델임. 디코드 속도 172 tok/s, 프리필 속도 7000+ tok/s 찍히고, 순정 llama.cpp랑 PrismML 포크 버전 둘 다 지원한다. 파일 하나로 엔진 두 개 다 돌릴 수 있음.
| Engines | ✅ Stock llama.cpp (validated on b11555+, b11796) · ✅ PrismML fork / Bonsai (validated on b10793) |
|---|
수정: 이거 maple-preview 이후로 순정 llama.cpp에서 돌아가는 두 번째 3진법 MOE 모델이다. CPU만 쓰는 사람들은 속도 좀 공유해줘라. 그리고 VRAM 쥐꼬리만한(~10GB) 환경에서 돌리는 사람들도 수치 좀 올려주셈.
