r/LocalLLaMA•1일 전•145•43
Ternary Bonsai 2 (2B, 4B, 9B) 허깅페이스 출시. 2B 모델은 M4 Max에서 커스텀 WebGPU 커널을 통해 브라우저 내에서 초당 최대 500토큰으로 구동 가능.
Ternary Bonsai 2 (2B, 4B, and 9B) just released on Hugging Face. The 2B can run entirely locally in the browser at up to 500 tok/s on an M4 Max with custom WebGPU kernels.
핵심 요약
엄청난 속도를 자랑하는 Ternary Bonsai 2 모델이 공개되어 커뮤니티에서 성능과 실용성에 대한 다양한 반응이 나오고 있습니다.
- 압도적 속도 — 브라우저 환경에서 초당 500토큰이라는 경이로운 속도를 보여줌
- 모델 라인업 — 2B, 4B, 9B 크기로 구성되어 다양한 환경에서 활용 가능
- 기술적 구현 — 커스텀 WebGPU 커널을 사용하여 로컬 브라우저 구동 최적화
- 비전 모델 평가 — 800MB 용량은 훌륭하지만 비전 타워 압축률에 대한 아쉬움 존재
