Bonsai 모델은 그냥 거품임: Bonsai-8B는 Gemma-4-E2B보다 훨씬 멍청함

Bonsai가 Qwen3.5가 아니라 Qwen3 기반이라는 점을 알아야 함. 양자화 문제라기보다 구세대 모델 기반이라 그럴 수도 있음. Qwen3.5로도 똑같이 해봤으면 좋겠네, 그럼 다른 최신 모델들이랑 제대로 비교해볼 수 있을 텐데.

Qwen3-8B-Q4_K_M은 질문 3개 다 잘 맞히던데, PrismML 양자화 과정이 모델을 바보로 만든 거임! RAM은 3배나 더 쓰면서 비교하는 건 불공평하지만, 벤치마크 점수 하락 거의 없다고 광고한 건 PrismML 쪽이니까.

맞음, 그냥 개념 증명용인 것 같고 충분히 인상적임. 작성자가 사과랑 오렌지를 비교하고 있네.

Q4_K_M이랑 Q1_0은 비교 대상이 아님.

써봤는데 제대로 테스트된 건 아님. 요즘 8B 모델치고는 확실히 멍청하게 느껴짐. 8B 모델을 1GB 안에 구겨 넣은 건 대단하지만, 1GB 용량대에서 나오는 다른 모델들보다는 확실히 떨어짐. ARM 같은 엣지 환경에서 너무 느린 게 치명적임.