r/LocalLLaMA•11일 전•120•67

Ternary Bonsai는 머리 잘린 닭이나 다름없음

Ternary Bonsai is a headless chicken

핵심 요약

Ternary Bonsai 2 27B 모델이 복잡한 프롬프트에서 무한 루프에 빠지는 문제에 대해 사용자들이 원인과 해결책을 논의함.

모델 성능 논란 — 특정 프롬프트에서 모델이 무한 루프에 빠지는 현상이 보고됨
기술적 원인 분석 — 과도한 양자화나 잘못된 llama.cpp 포크 사용이 원인으로 지목됨
해결책 공유 — 전용 포크 사용 및 파라미터 조정 필요성이 제기됨
사용자 경험 공유 — 모델의 일상적 사용 가능성에 대한 회의적인 반응이 나옴

Ternary Bonsai 2 27B

써보고 엄청 기대했거든.

프롬프트 하나 던져봤어.

"플레이어가 돌아다닐 수 있는 작은 3D 행성 지구를 만들어줘. 탐험할 수 있는 온갖 생태계가 있고, 지구 크기는 너무 크지 않아도 되지만 돌아다니는 재미는 있어야 해. 캠핑하러 온 보이스카우트 소년이 탐험하는 컨셉이야."

근데 이 새끼가 2시간 넘게 머리 잘린 닭마냥 똑같은 소리만 반복하면서 무한 루프 돌고 있네.

진짜 기대 많이 했는데.

수정: 프롬프트가 너무 모호하다느니, 설정값을 건드려야 한다느니 하는 애들이 있는데, 방금 올라온 Bijan 영상 봐라:

Watch "Bonsai 2 27B First Test – Is THIS the BEST Single-GPU AI Model?" on YouTube

Bonsai 2 27B First Test – Is THIS the BEST Single-GPU AI Model?

. 그냥 모델 자체가 구린 거야. 6B 모델 치고는 괜찮은 수준이긴 한데, Qwen이랑 98% 똑같은 성능이라고 하는 건 그냥 대놓고 사기 치는 거지.

원문

커뮤니티 목록

r/LocalLLaMA•11일 전•120•67

Ternary Bonsai는 머리 잘린 닭이나 다름없음

Ternary Bonsai is a headless chicken

핵심 요약

Ternary Bonsai 2 27B 모델이 복잡한 프롬프트에서 무한 루프에 빠지는 문제에 대해 사용자들이 원인과 해결책을 논의함.

모델 성능 논란 — 특정 프롬프트에서 모델이 무한 루프에 빠지는 현상이 보고됨
기술적 원인 분석 — 과도한 양자화나 잘못된 llama.cpp 포크 사용이 원인으로 지목됨
해결책 공유 — 전용 포크 사용 및 파라미터 조정 필요성이 제기됨
사용자 경험 공유 — 모델의 일상적 사용 가능성에 대한 회의적인 반응이 나옴

Ternary Bonsai 2 27B

써보고 엄청 기대했거든.

프롬프트 하나 던져봤어.

근데 이 새끼가 2시간 넘게 머리 잘린 닭마냥 똑같은 소리만 반복하면서 무한 루프 돌고 있네.

진짜 기대 많이 했는데.

수정: 프롬프트가 너무 모호하다느니, 설정값을 건드려야 한다느니 하는 애들이 있는데, 방금 올라온 Bijan 영상 봐라:

Watch "Bonsai 2 27B First Test – Is THIS the BEST Single-GPU AI Model?" on YouTube

Bonsai 2 27B First Test – Is THIS the BEST Single-GPU AI Model?

. 그냥 모델 자체가 구린 거야. 6B 모델 치고는 괜찮은 수준이긴 한데, Qwen이랑 98% 똑같은 성능이라고 하는 건 그냥 대놓고 사기 치는 거지.

주요 댓글

r/localllama

사용자들은 모델의 무한 루프 현상을 해결하기 위해 양자화 방식, 파라미터 설정, 전용 포크 사용 여부 등을 기술적으로 분석하며 의견을 나누고 있습니다.

170

저라도 그 프롬프트로는 작업 안 할 것 같네요.

근데 그렇게 압축률이 높은 모델을 테스트하기엔 너무 추상적인 프롬프트 아닌가요? 그 정도 급의 다른 모델들은 제대로 처리하나요?

-30

맞는 말이지만, 모델이 제대로 끝맺음을 하는지 보려고 일부러 테스트해 본 거예요. 결과가 평범하거나 불완전한 건 상관없는데, 출력이 수렴할지 안 할지 모르는 상태로 일상적으로 쓰기엔 문제가 좀 있죠.

솔직히 네가 테스트해 본 다른 모델들 중에 이거 성공적으로 끝낸 모델이 있는지 궁금하네?

그리고 머리 잘린 닭처럼 2시간 넘게 똑같은 생각만 반복하고 있네요.

너무 공격적인 양자화를 쓰면 그런 현상이 자주 보이더라고요.

그쪽에서 제공하는 llama.cpp 포크를 사용했나요?

이전 버전을 테스트해 봤는데, 엄청 좋진 않아도 확실히 고장 난 수준은 아니었어요.

-14

걔네 포크는 뭐가 특별한 거임? 모델에서 다 쳐낸 것들 다 포함해서 20Gb인 거 아님? /s

-18

보아하니 thinking 파라미터를 조정해야 하는 것 같네요. 그리고 그쪽 포크를 사용해야 하고요.

이거 한번 시도해 보세요: https://github.com/PrismML-Eng/Bonsai-demo

27b짜리 맛탱이 간 모델 테스트하기엔 너무 광범위한 프롬프트네... 긴 호흡이 필요한 작업일 뿐만 아니라 너무 포괄적이기도 하고.

Qwen 3.8 27b도 그랬음. harness 멈췄다가 다시 시작해 봐, 그러면 루프에서 빠져나오는 데 도움 됨. 가끔 복잡한 작업할 때는 몇 번씩 그렇게 해야 했고, 가끔은 harness에 "너 지금 루프 돌고 있어, 빠져나와"라고 적기도 함. 그러면 루프 멈추고 다시 생각하기 시작함.

원문r/LocalLLaMA