r/LocalLLaMA•약 3시간 전•211•51

Nanbeige/Nanbeige4.3-33B · 허깅페이스

Nanbeige/Nanbeige4.3-33B · Hugging Face

핵심 요약

Qwen3.8-27B보다 뛰어난 성능을 보이는 새로운 33B 모델 Nanbeige4.3이 공개되었습니다.

성능 지표 — 다양한 벤치마크에서 Qwen3.8-27B를 상회하는 결과 기록함
모델 아키텍처 — 최신 하이브리드 방식이 아닌 전통적인 GQA 기반의 Llama 구조 채택함
향후 계획 — 3B 모델 등 소형 모델 증류를 위한 기반 모델로 활용될 예정임

huggingface.co

원문 사이트로 이동

각종 벤치마크에서 Qwen3.8-27B보다 더 강력함.

또한 향후 출시될 소형 모델 증류 파이프라인(예: Nanbeige4.3-3B)을 구동하기 위한 필수 기반을 마련함.

이걸 3B 소형 모델로 증류할 거고, 아마 다른 사이즈로도 나올 듯.

원문

커뮤니티 목록

r/LocalLLaMA•약 3시간 전•211•51

Nanbeige/Nanbeige4.3-33B · 허깅페이스

Nanbeige/Nanbeige4.3-33B · Hugging Face

핵심 요약

Qwen3.8-27B보다 뛰어난 성능을 보이는 새로운 33B 모델 Nanbeige4.3이 공개되었습니다.

성능 지표 — 다양한 벤치마크에서 Qwen3.8-27B를 상회하는 결과 기록함
모델 아키텍처 — 최신 하이브리드 방식이 아닌 전통적인 GQA 기반의 Llama 구조 채택함
향후 계획 — 3B 모델 등 소형 모델 증류를 위한 기반 모델로 활용될 예정임

huggingface.co

원문 사이트로 이동

각종 벤치마크에서 Qwen3.8-27B보다 더 강력함.

또한 향후 출시될 소형 모델 증류 파이프라인(예: Nanbeige4.3-3B)을 구동하기 위한 필수 기반을 마련함.

이걸 3B 소형 모델로 증류할 거고, 아마 다른 사이즈로도 나올 듯.

주요 댓글

r/localllama

Nanbeige 33B 모델의 벤치마크 성능과 스케일업에 대해 전반적으로 긍정적인 반응을 보이며, 아키텍처와 모델 증류 과정에 대한 기술적 논의가 이어지고 있습니다.

벤치마크 점수가 미쳤네. 오늘 바로 스모크 테스트 돌려보고 실제 환경에서 어느 정도 성능이 나오는지 확인해봐야겠음.

알려주면 좋겠음! 벤치마크상으로는 진짜 좋아 보이는데.

걔네 특정 벤치마크에 엄청나게 최적화된 작은 모델 하나 있었잖아.

흥미롭네, 어떤 아키텍처를 썼는지 궁금함. config.json 확인 중 > LlamaForCausalLM 아 이런, 이거 KV cache 엄청 잡아먹겠네.

진짜 그런 것 같네. 160k 컨텍스트에 10GB라니 😨

다른 차트보다 이게 더 맘에 드네. 드디어 스케일업했네(최근에 LiquidAI랑 OpenBMB도 그랬지). 30B급 모델이 더 나오는 건 좋은 일임. 이 모델이 창작 글쓰기(Creative Writing)에서도 잘해주길 바람(이전 작은 모델들이 EQBench에서 꽤 좋은 위치를 차지했었거든). 이제 이 모델이 Qwen4-27B랑 앞으로 나올 30B급 모델들의 기준을 높여놨네.