r/LocalLLaMA•약 1개월 전•165•35
요청: unsloth님, Qwen3.6 35A3B 및 27B 모델을 UD 3.0으로 재양자화 부탁드립니다
Request: unsloth Please re-quantize Qwen3.6 35 A3B and 27B using UD 3.0
핵심 요약
사용자들이 Qwen 모델의 UD 3.0 재양자화를 요청하며, UD 3.0의 성능 향상과 대안 기술에 대해 논의함.
- UD 3.0 성능 — 기존 2.0 대비 비트 하나 차이만큼의 체감 성능 향상을 보여줌
- 재양자화 요청 — 사용자들이 Unsloth를 통해 구형 Qwen 모델의 최신 양자화 버전을 원함
- 대안 기술 공유 — Exllama3 사용이나 직접 양자화 도구 활용 등 다양한 해결책이 제시됨
- 사용자 경험 공유 — UD 3.0의 성능에 대한 긍정적 평가와 일부 루프 현상에 대한 불만이 공존함
UD 3.0은 UD 2.0에 비해 엄청나게 발전한 것 같네. 우리 중 몇몇은 여전히 구형 Qwen 모델을 돌리고 싶어 하지만, UD 3.0의 이점도 누리고 싶어 하거든.
UD 2.0이랑 3.0 차이는 거의 풀 퀀트(full quant) 수준 차이랑 비슷함. 그러니까 Q3 UD 3.0이 Q4 UD 2.0이랑 비슷한 성능을 낸다는 거지.
