Bonsai-27B 및 Ternary-Bonsai-27B - 업데이트 (PR 관련)

백엔드별 마이그레이션 상태:

위에 언급한 Vulkan PR은 승인 완료됐고✅ 곧 머지될 예정임.

llama.cpp에 머지 대기 중인 다른 오픈 PR (Bonsai 관련):

• cuda: extract Q1_0 elements via __byte_perm #25628 ( t/s +5-10% & pp +1-2.5% )
• ggml-cpu: ARM Repack kernels for Q1_0 #23492 (내부 t/s 벤치마크 확인)
• ggml-cpu: Optimized Arm NEON cpu q1_0 dot (with plain/DP/I8MM) #23358 (내부 t/s 벤치마크 확인)

Bonsai랑 Ternary-Bonsai 모델 최적화 관련 PR이 더 많이 올라왔으면 좋겠음.

어제 다른 Bonsai 스레드에서 몇몇 사람들이 이 모델들이 에이전트 코딩 같은 걸 잘 못한다고 하던데, 1비트 버전 모델한테 너무 많은 걸 바라는 거 아님? 근데 모델 만든 사람들이 모델 카드에 관련 내용을 적어놨더라고. 아래 공유함.

Bonsai-27B 한계점

• 품질과 용량의 트레이드오프: 이진 모델은 풀 정밀도 평균의 89.5% 성능을 유지함. 격차는 크지 않고 예측 가능한 수준임. 추론 핵심(수학, 코딩)은 기준치에서 몇 포인트 차이 안 나고, 가장 까다로운 카테고리에서만 차이가 좀 남. 품질이 중요하다면 ternary GGUF 빌드(94.6%)를 고려하셈.
• 에이전트 코딩(장기적 작업, 다중 파일, 실행-테스트-수정 워크플로우)은 이번 릴리스의 주력 타겟이 아님. 에이전트 코딩에 최적화된 Bonsai 27B 버전이 다음 로드맵에 있음.
• KV 압축 여력: 이번 릴리스는 4비트 KV 캐시를 표준으로 함. Bonsai는 컨텍스트 길이가 길어질수록 KV 캐시 오류에 대한 내성이 강해짐. 초기 결과에 따르면 키 캐시를 2비트 미만으로 더 밀어붙일 수 있을 것 같음. 고정된 기기 메모리 예산 안에서 컨텍스트를 더 길게 가져갈 수 있는 방법임.

Ternary-Bonsai-27B 한계점

• 품질과 용량의 트레이드오프: ternary 모델은 풀 정밀도 평균의 94.6% 성능을 유지함. 격차는 크지 않고 예측 가능한 수준임. 추론 핵심(수학, 코딩)은 기준치에서 몇 포인트 차이 안 남.
• 폰에서는 안 돌아감: ~7.2GB인 ternary 빌드는 iOS 앱당 메모리 제한인 ~6GB를 초과함. 폰에서 돌리려면 MLX Swift를 통해 1비트 버전을 쓰셈.
• 현재는 2비트 슬롯에서 구동됨: 배포된 용량(~7.2GB)이 네이티브 타겟인 ~5.9GB보다 큼. 네이티브 ternary 커널은 현재 열심히 개발 중이고, 이게 완성되면 대역폭이랑 용량 이점을 지연 시간과 에너지 효율 개선으로 바로 돌려받을 수 있음.
• 에이전트 코딩(장기적 작업, 다중 파일, 실행-테스트-수정 워크플로우)은 이번 릴리스의 주력 타겟이 아님. 에이전트 코딩에 최적화된 Bonsai 27B 버전이 다음 로드맵에 있음.
• KV 압축 여력: 이번 릴리스는 4비트 KV 캐시를 표준으로 함. 초기 결과에 따르면 키 캐시를 2비트 미만으로 더 밀어붙일 수 있을 것 같음. 고정된 기기 메모리 예산 안에서 컨텍스트를 더 길게 가져갈 수 있는 방법임.

다음번엔 이런 한계점들 다 해결된, 극한으로 최적화된 모델이 나오길 기대함.

방금 파라미터 아무것도 안 건드리고 Bonsai-27B 모델 llama-bench 돌려봤다. 내 노트북 GPU 4060(8GB VRAM)에서 pp - 600 t/s, tg - 30 t/s 나오네. 이 모델한테 기적 같은 성능을 바라는 건 아니지만, VRAM 쪼가리 가지고도 돌아가는 게 어디냐. 일단 채팅이랑 글쓰기 용도로 써보려고. Bonsai 팀이랑 llama.cpp 쪽에서 최적화 버전 더 내주길 기다리는 중이다.

너네는 속도 얼마나 나오냐? 이거 코딩이나 글쓰기 같은 거에 써본 사람 있냐? 혹시 폰에 올려본 사람? 내 폰은 램 8GB라 올리면 너무 느릴 것 같아서 엄두도 못 내겠네. 다들 이 모델 성능 어떤지 좀 알려줘라.

꼭 그렇지는 않음. 코딩이랑 수학은 맞는데, 나한테는 유럽 언어의 기술 문서 작성이 더 중요해서 그 분야에서는 Gemma가 Qwen을 압살함. 그래서 '대부분의 작업'이라고 하기엔 좀 거리가 있음.