Saluki 27B: "96% of Qwen 3.8’s performance at ~1/7 the size"
Saluki 27B 모델의 성능과 명칭에 대해 마케팅 과장 논란과 양자화 방식에 대한 기술적 회의론이 제기됨.
underdog.ai
원문 사이트로 이동
이거 써본 사람 피드백 좀 줄 사람?
Saluki 27B 모델의 성능과 잠재적 위험성에 대해 사용자들 사이에서 우려와 농담이 섞인 반응이 나오고 있음.
모델 양자화 담당자들에게 한마디 함: 그냥 '양자화 모델'이라고 불러. 가중치를 양자화한 거잖아. 자기들만의 이름을 지어내서 마치 새로운 모델을 만든 것처럼, 그리고 그게 무슨 창의적이고 대단한 이름이라도 되는 것처럼 행동 좀 하지 마.
하지만 그렇게 안 하면 이 거품 속에서 어떻게 수백만 달러를 투자받고 부자가 되겠어?!
이 모델은 아마도 양자화 후 학습(post quantisation training) 과정을 거쳤을 거야. 만약 그들이 돈과 노력을 꽤 들였다면 이름을 바꾸는 것까진 괜찮다고 봐. 단, Qwen 3.8 기반이라는 점을 명확히 밝히기만 한다면 말이지. 그들은 그렇게 했고. 아쉽게도 그게 사실인지 아닌지는 밝히지 않았지만, Qwen 3.8을 출처로 명확히 표기했으니 내 기준에선 괜찮음.
동의함. 그리고 KLD(Kullback-Leibler Divergence)도 제대로 공개해야지. Ternary bonsai가 그걸 안 하고 넘어간 건 진짜 말도 안 됨.
그런 모델들은 대부분 양자화 후 학습을 포함하고, 어떤 종류의 파인튜닝이든 KLD를 변화시키게 됨. KLD는 단순히 두 모델 간의 출력 분포 차이를 측정하는 지표일 뿐이라서, 모델을 파인튜닝하면 출력 분포가 변하게 돼. 그래서 파인튜닝 모델에 KLD를 쓰는 건 나쁜 지표고, Bonsai가 KLD를 공개하지 않은 이유일 거야. 하지만 KLD가 빛을 발하는 건 양자화 분야임. 양자화의 목표는 모델의 동작을 베이스 모델과 최대한 비슷하게 유지하면서 크기를 최대한 줄이는 거니까.
KLD는 비교 대상 모델과 정확히 동일한 출력을 내는지 측정할 때만 의미가 있음. 모델이 베이스 모델과 달라져도 충분히 좋을 수 있거든. 그래서 재설계된 모델에 KLD를 적용하는 건 완전히 다른 문제고, 그런 수치를 인용하는 건 말이 안 됨.
결국 중요한 건 기반이 된 모델만큼 성능을 낼 수 있느냐지.
4%는 인간과 돌고래의 지능 차이 정도지.
이 모델 우리보다 수영 잘하네, 쩌는데!
2비트 양자화라니, 난 거절하겠다 친구.
이게 더 작고 아마 Qwen 3.5 9B의 FP8 양자화보다는 나을걸. 사용 사례에 따라 다르겠지만, 이 모델을 Qwen 3.8 27B FP16이랑 비교하는 건 잘못됐다고 봄. 비슷한 GB 용량의 모델들과 비교하는 게 훨씬 합리적일 듯.
기사를 대충 훑어봤는데 마케팅 문구로 가득 차 있네. 'underdog bench'가 뭔지는 모르겠지만, 차라리 prism ternary quant 같은 표준화된 테스트를 보고 싶음.
bonsai에서 실망한 이후로는, 모델을 이렇게까지 압축하면서 실사용 성능까지 챙길 수 있는 마법 같은 양자화 기법이 존재한다고는 안 믿음.
제발... 돌고래가 하는 다른 짓은 안 하길 바란다.
아니. 이름이랑 제목은 풀 정밀도 모델과 동등한 성능을 낸다는 의미를 내포하고 있잖아.
메모리 점유율로 벤치마크하는 게 유일하게 공정한 지표지. 근데 장담하는데 실사용 환경에서는 9B 모델을 Q6_K로 돌리는 게 이 빌드보다 훨씬 더 안정적이고 문맥 파악도 잘할 거다.
llama.cpp가 무대에 등장한 것에 대한 커뮤니티의 다양한 반응을 담은 포스트입니다.
llama.cpp가 무대에 등장한 것에 대한 커뮤니티의 다양한 반응을 담은 포스트입니다.
Gemini 4 출시를 기다리는 사용자들이 가짜 정보에 지쳐가며 매일 현황을 공유하고 있습니다.
Gemini 4 출시를 기다리는 사용자들이 가짜 정보에 지쳐가며 매일 현황을 공유하고 있습니다.
