Ternary Bonsai: 1.58비트에서의 최고 지능
Ternary Bonsai: Top intelligence at 1.58 bits
핵심 요약
1.58비트 삼진법 가중치를 사용하여 메모리 효율을 극대화한 새로운 언어 모델 시리즈 'Ternary Bonsai'가 공개되었습니다.
- 모델 효율성 — 1.58비트 삼진법 가중치를 적용해 16비트 모델 대비 메모리 사용량을 약 9배 절감함.
- 모델 라인업 — 8B, 4B, 1.7B 세 가지 크기로 출시되어 다양한 하드웨어 환경에서 활용 가능함.
- 기술적 논란 — 기존 모델의 양자화 방식과 벤치마크 비교의 공정성에 대해 커뮤니티 내 의문이 제기됨.
- 향후 계획 — 더 큰 규모의 모델 출시와 다양한 백엔드 지원을 위한 포맷 확장을 예고함.
오늘 우리는 엄격한 메모리 제약과 높은 정확도 요구 사항 사이의 균형을 맞추기 위해 설계된 새로운 1.58비트 언어 모델 제품군인 Ternary Bonsai를 발표합니다.
이번 릴리스는 최근 출시된 1비트 Bonsai 모델을 통해 탐구하기 시작한 효율성 한계를 기반으로 합니다. 1비트 제품군은 극단적인 압축으로도 상업적으로 유용한 언어 모델을 만들 수 있음을 보여주었습니다. Ternary Bonsai는 그 곡선의 다른 지점을 목표로 합니다. 즉, 성능의 의미 있는 향상을 위해 크기를 약간 늘리는 것입니다.
이 모델은 8B, 4B, 1.7B 파라미터의 세 가지 크기로 제공됩니다. 삼진법 가중치 {-1, 0, +1}을 사용하여 이 모델들은 표준 16비트 모델보다 약 9배 작은 메모리 풋프린트를 달성하면서도, 표준 벤치마크에서 각 파라미터 클래스의 대부분의 동급 모델을 능가합니다.
블로그 게시물 : https://prismml.com/news/ternary-bonsai
모델 : https://huggingface.co/collections/prism-ml/ternary-bonsai
Ternary Bonsai-8B 모델의 FP16 safetensors (HuggingFace 형식)입니다. 이 저장소는 패킹된 삼진법 형식을 아직 지원하지 않는 표준 HuggingFace 도구나 프레임워크로 Ternary Bonsai를 실행하려는 사용자를 위해 존재합니다. 현재 MLX 2비트 형식만 패킹된 형식으로 제공되며, 다른 백엔드를 위한 더 많은 형식이 곧 제공될 예정입니다.
이 Ternary Bonsai 모델들이 환각(hallucinations)이 없거나 적기를 바랍니다.
곧 나올 20-40B 모델들(Qwen3.5-27B, Qwen3.5-35B-A3B, Gemma-4-31B, Gemma-4-26B-A4B 등)을 기다리고 있습니다! 그것이 대형 모델의 게임 체인저가 될 것입니다.
