r/LocalLLaMA•약 3시간 전•47•44
Boole-1.7B: Bonsai-1.7B를 능가하는 1비트 Qwen3-1.7B 모델
Boole-1.7B: A 1-bit Qwen3-1.7B model that outperforms Bonsai-1.7B
핵심 요약
Qwen3-1.7B를 1비트로 양자화하여 성능은 유지하면서 용량을 획기적으로 줄인 Boole-1.7B 모델이 공개되었습니다.
- 초경량 모델 — 247MB의 패킹된 가중치로 BF16 대비 13.9배 작은 크기 구현
- 성능 검증 — 10개 작업 평가에서 BF16 모델의 85.9% 성능 달성
- 범용성 — vLLM, llama.cpp 지원 및 브라우저에서 로컬 실행 가능
- 향후 계획 — 커뮤니티 피드백을 반영하여 더 강력한 오픈소스 모델 출시 예정
Qwen3-1.7B의 1비트 버전인 Boole-1.7B를 공개하면서 Precision Numerics를 시작한다.
-
247 MB 패킹된 가중치: BF16보다 13.9배 작음.
-
10개 작업 평가에서 BF16 모델 평균 점수의 85.9% 달성 - 1비트 Bonsai-1.7B보다 성능 좋고 1.58비트 Bonsai-1.7B랑 거의 맞먹는 수준임.
브라우저에서 로컬로 돌려보거나(영어랑 비사고 모드 쓰는 저지연 작업용임), vLLM이나 llama.cpp로 써봐라.
오픈소스 커뮤니티를 위해 더 성능 좋은 모델들도 계속 내놓을 예정임. 다음에 어떤 모델이나 기능 보고 싶은지 알려줘.
-
데모 코드 (vLLM, llama.cpp용): github.com/PrecisionNumerics/boole-demo
-
브라우저 로컬 채팅: precisionnumerics.ai/chat/
