r/LocalLLaMA•3개월 전•512•63

Bonsai 27B: 커스텀 WebGPU 커널을 사용해 브라우저에서 로컬로 실행되는 1비트 dense LLM

Bonsai 27B: 1-bit dense LLM running locally in your browser using custom WebGPU kernels

핵심 요약

PrismML 팀이 1비트 양자화로 성능 손실을 최소화한 Bonsai 27B 모델을 공개하며 로컬 LLM의 새로운 가능성을 제시했습니다.

1비트 양자화 — 모델 크기를 54GB에서 3.8GB로 93% 압축하면서 지능은 90% 유지함
WebGPU 기술 — 브라우저 환경에서 로컬로 LLM을 구동하는 커스텀 커널을 활용함
성능 테스트 — 8GB VRAM 환경에서 200k 컨텍스트까지 안정적인 속도를 보여줌
향후 기대감 — 1비트 양자화 기술이 더 큰 파라미터 모델이나 MoE 구조로 확장되길 기대함

Bonsai 27B: 커스텀 WebGPU 커널을 사용해 브라우저에서 로컬로 실행되는 1비트 dense LLM 이미지 1

Very impressive release by the PrismML team. 1-bit quantization shrinks it from 54GB to just 3.8GB (-93%), while retaining 90% of its intelligence.

Collection on Hugging Face: https://huggingface.co/collections/prism-ml/bonsai-27b
Demo link: https://huggingface.co/spaces/webml-community/bonsai-webgpu-kernels

원문

커뮤니티 목록

r/LocalLLaMA•3개월 전•512•63

Bonsai 27B: 커스텀 WebGPU 커널을 사용해 브라우저에서 로컬로 실행되는 1비트 dense LLM

Bonsai 27B: 1-bit dense LLM running locally in your browser using custom WebGPU kernels

핵심 요약

PrismML 팀이 1비트 양자화로 성능 손실을 최소화한 Bonsai 27B 모델을 공개하며 로컬 LLM의 새로운 가능성을 제시했습니다.

1비트 양자화 — 모델 크기를 54GB에서 3.8GB로 93% 압축하면서 지능은 90% 유지함
WebGPU 기술 — 브라우저 환경에서 로컬로 LLM을 구동하는 커스텀 커널을 활용함
성능 테스트 — 8GB VRAM 환경에서 200k 컨텍스트까지 안정적인 속도를 보여줌
향후 기대감 — 1비트 양자화 기술이 더 큰 파라미터 모델이나 MoE 구조로 확장되길 기대함

영상 보기

Very impressive release by the PrismML team. 1-bit quantization shrinks it from 54GB to just 3.8GB (-93%), while retaining 90% of its intelligence.

Collection on Hugging Face: https://huggingface.co/collections/prism-ml/bonsai-27b
Demo link: https://huggingface.co/spaces/webml-community/bonsai-webgpu-kernels

주요 댓글

r/localllama

1비트 양자화 기술의 급격한 발전과 대중화에 대한 놀라움과 기대감이 주를 이루며, 실제 성능에 대한 궁금증도 제기됨.

105

Qwen 3.6 27B를 성능 저하 5%만으로 5.7GB에 구겨 넣었다고? 내 8GB 노트북 3070에서 테스트해 봐야겠네.

어떻게 돌아가는지, 컨텍스트는 얼마나 들어가는지 좀 알려줄 수 있어? 나도 8GB VRAM이라 Q6_XL 버전 Qwen3.6 35b를 대체할 수 있을지 테스트해보려던 참이었거든.

그래, 지금 ternary 버전이 필요로 하는 prism-ml llama.cpp 포크를 컴파일 중이야. 참고로 Qwen 3.6 35b는 APEX 양자화를 추천해. APEX-I compact GGUF는 Q4_K_M 정도 크기인데 성능은 Q8_0에 훨씬 가깝거든.

APEX 퀀타이제이션에 대해 읽어봤는데, Unsloth의 UD랑 비교하면 어때? 그리고 혹시 Hugging Face 링크 있어?

어디서 본 것 같은데 UD보다 성능이 대체로 떨어진다더라. 근데 그 글을 다시 찾을 수가 없네.

8192 컨텍스트에서는 초당 약 25토큰 정도 나오는데, 유용한 수준으로 올리려고 하면 k/v 캐시가 시스템 RAM으로 넘어가면서 초당 8토큰 정도로 떨어져.

1비트(non-ternary) 버전으로는 200k 컨텍스트 넘어서까지 꾸준히 초당 20토큰 정도를 뽑아낼 수 있었어. 그래서 8GB VRAM 환경이라면 이 버전을 추천해. ternary 버전보다 멍청하지도 않고 말이야 ㅋㅋ. 그리고 이건 speculative decoding 없이 돌린 거야. 1비트 버전 쓰려고 cachyllama로 다시 바꿨는데, cachyllama가 아직 dspark을 병합하지 않아서...

진짜 미쳤네. 1년 뒤에는 우리가 어떤 작은 로컬 모델들을 쓰게 될지 상상도 안 간다.

딱 하나 의문인 건 비슷한 크기의 9B 모델(https://huggingface.co/byteshape/Qwen3.5-9B-GGUF/blob/main/Qwen3.5-9B-Q5%5C_K%5C_S-5.10bpw.gguf)보다 나을지 모르겠네. 써봤어? 27B가 더 나은 거 같아 아니면 별로야?

아직 준비 안 됐음. 모델 카드에 있는 한계점들 확인해 봐.

멋지네. 내 컴퓨터는 CUDA 지원이 안 돼서 CPU 모드로만 돌릴 수 있거든. 그래도 5 t/s 나오는데, 생각보다 잘 나와서 만족함.

전혀 아님 :) 느리고 영어만 제대로 할 줄 알고, 그냥 개념 증명 수준이야. 그래도 흥미로운 기술이긴 해.

1비트 HY3가 막 나온 시대라니. 이제 모든 걸 1비트로 가려는 모양이네. 아마 새로 나온 Kimi k3나 앞으로 나올 GLM도 그렇게 되겠지.

1비트 양자화가 그냥 밈이었던 시절이 기억나네.

원문r/LocalLLaMA