r/LocalLLaMA•약 4시간 전•54•19

ISTA(GSQ-RCO)와 Unsloth의 기싸움을 팝콘 뜯으며 구경 중

Kind of enjoying the ISTA (GSQ-RCO) vs Unsloth beef

핵심 요약

ISTA와 Unsloth 간의 양자화 기술 경쟁이 치열해지면서 커뮤니티 내에서 기술적 논쟁과 흥미로운 반응이 이어지고 있습니다.

기술 경쟁 — 양측의 치열한 공방이 더 나은 양자화 모델 개발을 촉진함
KLD 지표 논란 — ISTA의 KLD 미공개와 Unsloth의 벤치마크 신뢰성 문제가 쟁점임
벤치마크 한계 — 모델 성능 평가 지표가 실제 체감 성능을 제대로 반영하는지에 대한 의문 제기
커뮤니티 반응 — 양측의 경쟁을 환영하면서도 Unsloth의 공격적인 마케팅 방식에는 비판적인 시각 존재

난 누구 편도 아님. 그냥 경쟁하는 꼴 보는 게 재밌을 뿐임. 양쪽 팀이 서로 치고받고 싸워야 우리 같은 퀀트 유저들한테도 더 좋은 결과물이 나오는 거 아니겠음?

근데 이해가 안 가는 게, 왜 ISTA는 자기네 퀀트 모델 KLD를 공개 안 하는 거임? 이건 모델이 생각하는 시간(thinking time)이랑 상관없는 지표라 비교하기 훨씬 편할 텐데 말이야. GSQ-RCO 관련해서 본 KLD라곤 Unsloth 차트에 나온 게 전부임. 내가 모르는 무슨 이유라도 있는 건가?

(영어가 모국어가 아니라서 LLM 도움받아서 번역함.)

원문

커뮤니티 목록

r/LocalLLaMA•약 4시간 전•54•19

ISTA(GSQ-RCO)와 Unsloth의 기싸움을 팝콘 뜯으며 구경 중

Kind of enjoying the ISTA (GSQ-RCO) vs Unsloth beef

핵심 요약

ISTA와 Unsloth 간의 양자화 기술 경쟁이 치열해지면서 커뮤니티 내에서 기술적 논쟁과 흥미로운 반응이 이어지고 있습니다.

기술 경쟁 — 양측의 치열한 공방이 더 나은 양자화 모델 개발을 촉진함
KLD 지표 논란 — ISTA의 KLD 미공개와 Unsloth의 벤치마크 신뢰성 문제가 쟁점임
벤치마크 한계 — 모델 성능 평가 지표가 실제 체감 성능을 제대로 반영하는지에 대한 의문 제기
커뮤니티 반응 — 양측의 경쟁을 환영하면서도 Unsloth의 공격적인 마케팅 방식에는 비판적인 시각 존재

(영어가 모국어가 아니라서 LLM 도움받아서 번역함.)

주요 댓글

r/localllama

커뮤니티는 양측의 기술 경쟁을 흥미롭게 지켜보면서도, 벤치마크 지표의 신뢰성과 Unsloth의 공격적인 태도에 대해 다양한 의견을 나누고 있습니다.

큰 게시물들을 못 본 사람들을 위해 대충 요약하자면:

이전의 사소한 일들은 차치하고, 최근에 Unsloth vs ISTA 비교가 파장을 일으키면서 시작됨. ISTA는 비교할 만한 같은 세그먼트의 모델이 없다는 점을 이용해 단순히 크기로 승부하는 양자화 모델들을 발표했음. 한편 Unsloth는 더 높은 컨텍스트 사이즈에서 벤치마크를 돌려 점수 차이가 더 크다는 걸 보여줌. 그러자 ISTA 측은 Unsloth 측정 방식의 일관성 문제를 지적했고, Unsloth는 여전히 ISTA의 결과를 재현할 수 없다고 주장하는 중임.

이걸로 부족하다면 2025년의 위대한 양자화 전쟁에 대해 읽어보길 바람.

나도 즐기는 중임. ISTA-DASLab 사람들이 좀 억울할 수도 있겠다는 생각은 들고 이런 말 하기 미안하지만, 커뮤니티는 이 싸움 덕분에 확실히 이득을 보고 있음. 양쪽 다 자기 입장을 정당화하려고 엄청난 시간을 쏟고 있고, 그 덕분에 명확해지는 부분이 많아서 아주 교육적임.

왜 ISTA가 자기들 양자화 모델에 KLD를 공개하지 않는지 이해가 안 감.

그거에 대해서는 여기서 답변했음: https://www.reddit.com/r/LocalLLaMA/comments/1xeim3m/kld_is_misunderstood/

랩 배틀로 끝나는 디스곡이 좀 필요함. 그게 아니면 너무 문명적이지 못하잖아.

AI 버전의 '역사 속 에픽 랩 배틀'이 되겠네.

이미지

20년 뒤에 내 애들한테 내가 이때 여기 있었다고 말해줘야지.

아직 GLM 5.3 Flash를 안 했다면, 했으면 좋겠음. 2비트나 3비트 양자화는 시도해 볼 가치가 있을 듯.

1비트 양자화를 얼마나 신뢰해야 할지 진짜 모르겠음. 모델들이 일관성 있을 뿐만 아니라 심지어 성능이 좋을 수도 있다는 사실 자체가 내가 모델 작동 방식에 대해 알고 있다고 생각했던 모든 걸 뒤집어 놓음. 그래도 GLM 5.3 Flash는 워낙 대단한 모델이라 어떤 수단을 써서라도 더 많은 하드웨어에 구겨 넣는 걸 보고 싶음.

나도 동감임. 솔직히 양자화가 이렇게 좋아진 건지, 아니면 벤치마크가 더 이상 손실을 보여주지 못하는 건지 모르겠음. Unsloth의 최신 표를 보면 UD-IQ1_M이 UD-Q2_K_XL보다 평균 점수가 높음. 같은 팀 모델인데 작은 양자화 모델이 더 큰 모델을 이기는 걸 보면 벤치마크 탓도 어느 정도 있는 것 같음.

그쪽 방법론은 KLD 최적화를 목표로 하는 다른 모델들이랑 같은 방식으로 양자화를 최적화하는 것 같지는 않음.

왜 ISTA가 자기들 양자화 모델에 KLD를 공개하지 않는지 이해가 안 감.

그거 QFN GSQ-RCO GGUF 모델들에 대해서는 공개되지 않았나?

난 Unsloth가 좋음. 사람들이 LLM을 사용하는 방식을 혁신했으니까. 하지만 제발, '내가 너보다 낫다'는 식의 유치한 행동 좀 안 했으면 좋겠음. 그들이 왜 1위 양자화 연구소로 인식되어야 하는지(펀딩 규모를 보셈)는 알겠는데, 그걸 위해 사용하는 수사법은 이 협력적인 커뮤니티에 독이 됨.