r/LocalLLaMA•2개월 전•433•144논쟁
새로운 모델: Nanbeige4.2-3B (루프형 트랜스포머, 4배 크기 모델 능가)
New Model: Nanbeige4.2-3B (Looped Transformer, outperforms 4x size)
핵심 요약
파라미터 효율성을 극대화한 루프형 트랜스포머 기반의 3B 모델 Nanbeige4.2-3B가 공개되어 주목받고 있음.
- 루프형 트랜스포머 — 레이어 재사용으로 파라미터 추가 없이 모델 용량 확장함.
- 경량 에이전트 모델 — 3B 파라미터로 일반 에이전트 및 코드 작업에서 우수한 성능 발휘함.
- 벤치마크 논란 — 기존 모델 결과치를 낮게 조작했다는 의혹이 제기됨.
- 재귀적 구조 — 내부 재귀를 통한 의식 있는 AI 구현 가능성에 대한 토론이 활발함.
https://huggingface.co/Nanbeige/Nanbeige4.2-3B
Nanbeige4.2-3B는 Nanbeige4.2-3B-Base를 기반으로 구축된 소형 에이전트 모델로, 강력한 에이전트 동작과 폭넓은 추론 및 정렬 능력을 결합하도록 설계되었습니다. 루프형 트랜스포머 아키텍처는 트랜스포머 레이어를 재사용하여 파라미터를 추가하지 않고도 모델 용량을 늘립니다. 3B개의 비임베딩 파라미터만으로도 일반 에이전트 및 코드 에이전트 작업에서 탄탄한 성능을 제공합니다.
