r/LocalLLaMA•약 1개월 전•168•85

QUASAR QAD를 적용한 완전 양자화 NVFP4 Qwen3.8-27B 모델 공개

Fully quantized NVFP4 Qwen3.8-27B with QUASAR QAD

핵심 요약

QUASAR QAT 알고리즘을 사용해 성능 손실을 최소화한 NVFP4 Qwen3.8-27B 모델이 공개됨.

QUASAR 알고리즘 — QAT를 통해 NVFP4에서도 BF16에 근접한 성능 유지함.
모델 효율성 — 27B 모델을 19.7GB로 압축하여 메모리 사용량 대폭 절감함.
하드웨어 요구사항 — NVIDIA Blackwell GPU 환경에서 vLLM을 통해 구동 가능함.
성능 비교 — 기존 NVFP4 체크포인트 대비 GPQA 등 벤치마크에서 우수한 결과 기록함.

huggingface.co

원문 사이트로 이동

Qwen3.8-27B의 완전 양자화 버전인 NVFP4 모델을 공개한다. 이 체크포인트는 우리가 새로 개발한 QAT 알고리즘인 QUASAR를 활용한 양자화 인식 증류(QAD) 방식으로 학습했어. 원본 BF16 모델을 티처 모델로 삼아서 양자화된 모델을 2,446 스텝 동안 증류시켰다.

이 체크포인트는 NVIDIA Blackwell GPU에서 vLLM을 지원해:

vllm serve QUASAR-QAT/Qwen3.8-27B-QUASAR-NVFP4 \
--max-model-len 262144 \
--gpu-memory-utilization 0.85

이 모델은 아주 공격적인 양자화 설정을 사용했어. 모든 트랜스포머 블록의 선형 레이어 전체를 NVFP4(W4A4)로 양자화했거든.

보통 어텐션이나 GDN 레이어는 양자화하면 모델 성능이 확 떨어지니까 FP8이나 BF16 같은 고정밀도를 유지하는 게 국룰인데, QUASAR를 쓰니까 완전 양자화된 체크포인트인데도 BF16이랑 거의 차이 없는 성능이 나오더라. 다른 NVFP4 체크포인트들이랑 비교한 평가 결과는 아래와 같아.

Model	Size	GPQA-Diamond (2 runs, n=396)	AIME26 (3 repeats, n=90)
`Qwen/Qwen3.8-27B` (original BF16)	55.6 GB	0.9141	1.0000
`QUASAR-QAT/Qwen3.8-27B-QUASAR-NVFP4`	19.7 GB	0.9091	1.0000
`unsloth/Qwen3.8-27B-NVFP4`	23.4 GB	0.8939	0.9778
`Inferact/Qwen3.8-27B-NVFP4`	26.4 GB	0.8763	0.9667

논문: https://arxiv.org/abs/2608.13966v1

이 체크포인트 써보고 피드백 좀 많이 남겨줘!

원문

커뮤니티 목록

r/LocalLLaMA•약 1개월 전•168•85

QUASAR QAD를 적용한 완전 양자화 NVFP4 Qwen3.8-27B 모델 공개

Fully quantized NVFP4 Qwen3.8-27B with QUASAR QAD

핵심 요약

QUASAR QAT 알고리즘을 사용해 성능 손실을 최소화한 NVFP4 Qwen3.8-27B 모델이 공개됨.

QUASAR 알고리즘 — QAT를 통해 NVFP4에서도 BF16에 근접한 성능 유지함.
모델 효율성 — 27B 모델을 19.7GB로 압축하여 메모리 사용량 대폭 절감함.
하드웨어 요구사항 — NVIDIA Blackwell GPU 환경에서 vLLM을 통해 구동 가능함.
성능 비교 — 기존 NVFP4 체크포인트 대비 GPQA 등 벤치마크에서 우수한 결과 기록함.

huggingface.co

원문 사이트로 이동

이 체크포인트는 NVIDIA Blackwell GPU에서 vLLM을 지원해:

vllm serve QUASAR-QAT/Qwen3.8-27B-QUASAR-NVFP4 \
--max-model-len 262144 \
--gpu-memory-utilization 0.85

이 모델은 아주 공격적인 양자화 설정을 사용했어. 모든 트랜스포머 블록의 선형 레이어 전체를 NVFP4(W4A4)로 양자화했거든.

Model	Size	GPQA-Diamond (2 runs, n=396)	AIME26 (3 repeats, n=90)
`Qwen/Qwen3.8-27B` (original BF16)	55.6 GB	0.9141	1.0000
`QUASAR-QAT/Qwen3.8-27B-QUASAR-NVFP4`	19.7 GB	0.9091	1.0000
`unsloth/Qwen3.8-27B-NVFP4`	23.4 GB	0.8939	0.9778
`Inferact/Qwen3.8-27B-NVFP4`	26.4 GB	0.8763	0.9667

논문: https://arxiv.org/abs/2608.13966v1

이 체크포인트 써보고 피드백 좀 많이 남겨줘!

주요 댓글

r/localllama

새로운 NVFP4 양자화 모델의 성능과 툴 사용 능력, 그리고 하드웨어 호환성에 대한 사용자들의 관심이 높음.

5090 단일 구성에서 쓰기 좋아?

네, 5090 한 장에 잘 들어갈 거예요.

왜 5090 한 장에서 돌리는 데 문제가 있는지 이해가 안 가네. 일단 프로세스의 RAM 사용량을 제한해야 해. 안 그러면 엄청난 CUDA 컴파일이 실행되면서 RAM OOM 에러가 발생하거든. 그걸 해결해도 CUDA OOM 에러가 떠. GPU 사용률을 0.99로 설정해도 말이야(그래픽 카드 없는 헤드리스 컴퓨터임). 에러 내용: ValueError: Free memory on device cuda:0 (30.85/31.36 GiB) on startup is less than desired GPU memory utilization (0.99, 31.04 GiB). Decrease GPU memory utilization or red …

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

NVFP4를 기본 지원하지 않는 GPU 사용자가 llamacpp에서 이걸 쓸 방법이 있을까? NVFP4를 손실 없이 Q4 변형으로 변환할 수 있어?

이 모델은 변환 안 할 것 같음. 업스케일했다가 다시 다운스케일해야 하니까. 대신 bf16에서 시작해서 int8 w8a8이나 gguf처럼 원하는 방식으로 양자화한 다음, 원본 bf16 모델을 티처로 삼아서 똑같이 학습시키는 게 나을 듯.

와! 당장 확인해봐야겠네! 고마워

흥미롭네. 그럼 이 방법론을 사용해서 'QUASAR' W4A8이나 W4A16도 테스트해봤어? QAD 방식이 추가 작업은 거의 없이(크기는 조금 늘어나겠지만) BF16 가중치에 더 가까워질 수 있는지 궁금해서. 물론 추가 테스트가 필요하겠지만, 남은 손실이 가중치 때문인지 어텐션 레이어 때문인지(아니면 알 수 없는 건지), 그리고 어텐션/GDN 품질을 높이면 실제로 더 나은 결과를 얻을 수 있을지 알면 정말 흥미로울 것 같아.

W4A16이 BF16 가중치에 더 가까울 것 같고, 어텐션 레이어를 BF16으로 유지하는 게 더 효과적일 듯. 어텐션이나 GDN을 양자화 안 하면 체크포인트 크기가 커지고 32GB 5090에서 KV 캐시 메모리를 많이 확보할 수 없다는 게 문제임.

이게 NInfer 형식으로 변환되는 걸 보고 싶네.

NInfer용으로 바로 변환해서 테스트해 볼 예정.

야, 성공하면 링크 좀 남겨줘!

원문r/LocalLLaMA