질문: UkisAI Swift Ternary Bonsai 2 27B?

만드는 건 찬성이지만, 평판을 생각한다면 정말 철저한 벤치마크를 제공하고 기존 Bonsai나 원본 모델과 어떻게 다른지 아주 투명하게 공개해야 할 거예요. 정말 멋진 작업을 하고 계시고 그 열정은 높게 사지만, 본인이 하는 작업이나 그들이 하는 작업 모두 '모델 성능을 저하시키는 건 아닌가' 하는 의구심이 자연스럽게 따라오거든요. 그러니 (만약 '원본만큼 좋다'고 주장한다면) 둘을 섞는 건 대중적인 인식 측면에서 좀 위험할 수 있습니다.

언제나 그렇듯, 쓰레기 같은 결과를 내놓지 않도록 빡센 벤치마크 스위트를 돌릴 겁니다!

Bonsai가 했던 것보다 훨씬 더 많은 벤치마크를 돌릴 예정입니다. 제가 본 바로는 그들 벤치마크 수치 대부분이 @pass1 기준이던데, 우리는 @avg5로 돌릴 겁니다. 터미널 벤치, SWE 벤치, 그리고 비전 벤치까지 다 돌릴 거예요.

특히 긴 컨텍스트 벤치마크 결과를 보고 싶네요. 제 경험상, 아주 낮은 비트의 퀀트나 압축을 주장하는 모델들은 긴 컨텍스트 테스트를 피하는 경우가 많더라고요.

네 부탁드려요, 2비트 버전 나오면 정말 좋겠네요.

에이전트 코딩용으로는 쓸모없어요. 기본적으로 3.8 27B의 강점을 다 깎아먹는 수준입니다.