r/LocalLLaMA•약 1개월 전•63•9
Hy4 공식 1비트 양자화가 나왔다고??? 👀
An official 1-bit quant for Hy4??? 👀
핵심 요약
텐센트의 새로운 Hy4 양자화 방식인 MIX-STQ1_0의 성능과 기술적 세부 사항에 대해 논의하는 글입니다.
- MIX-STQ1_0 성능 — BF16 대비 정확도 저하가 거의 없는 효율적인 양자화 방식임.
- 기술적 접근 — 레이어별로 비트 수를 다르게 설정하는 보정 데이터 기반 방식을 사용함.
- 공식 여부 논란 — 텐센트 공식 계정에서 발표한 내용인지에 대해 사용자들 간 의견이 오감.
huggingface.co
원문 사이트로 이동
누구 써본 사람 있냐? 트윗에 올라온 결과 보니까 개쩌는 거 같은데! 아쉽게도 난 아직 램이 딸려서 못 돌려봄…
BF16이랑 비교해도 정확도 거의 안 떨어짐
📊 MCP Atlas 83.7→83.2
📊 SWE-Bench multi 82.9→81.3
📊 MRCR 81.3→81.1
📊 IFBench 73.5→72.5
https://x.com/TencentHunyuan/status/2093572224342954019
수정:
아, 2.38-bit bpw였네, 그냥 Q1이라고 적혀있어서… 내 실수!
