r/LocalLLaMA•약 1개월 전•120•45

현재 가장 빠른 Qwen3.8 27B NVFP4 양자화 모델

Fastest NVFP4 quant of Qwen3.8 27B out there

핵심 요약

RTX 5090 환경에서 기존 대비 50% 빠른 속도를 제공하는 Qwen3.8 27B NVFP4 양자화 모델이 공개되었습니다.

성능 향상 — 기존 Q4 양자화 대비 50% 빠른 속도 구현
하드웨어 최적화 — RTX 5090 환경에서 6250 t/s의 벤치마크 기록
기능 포함 — MTP(Multi-Token Prediction) 드래프트 헤드 탑재
호환성 — 별도의 브랜치 없이 최신 llama.cpp에서 구동 가능

huggingface.co

원문 사이트로 이동

이번에 새로 나온 Blackwell 네이티브, prefill 최적화 4비트 양자화 모델인데, 같은 메모리 용량의 Q4 양자화 모델보다 호환 하드웨어에서 50% 더 빠르게 돌아감.

RTX 5090 32GB에서 벤치마크 돌려보니까 다른 NVFP4 양자화 모델보다 4-7% 더 빠르더라.

Quant	Benchmark	Speed
NVFP4	pp2048	6250 t/s
unsloth NVFP4	pp2048	6010 t/s
Q4_0	pp2048	4130 t/s
Q6_K	pp2048	3210 t/s

이 GGUF 파일에는 덤으로 양자화된 MTP draft head도 포함되어 있음.

여기서 자세한 내용 확인하고, 특히 15% 더 빠른 MTP를 위한 권장 설정도 꼭 챙겨 봐라.

원문

커뮤니티 목록

r/LocalLLaMA•약 1개월 전•120•45

현재 가장 빠른 Qwen3.8 27B NVFP4 양자화 모델

Fastest NVFP4 quant of Qwen3.8 27B out there

핵심 요약

RTX 5090 환경에서 기존 대비 50% 빠른 속도를 제공하는 Qwen3.8 27B NVFP4 양자화 모델이 공개되었습니다.

성능 향상 — 기존 Q4 양자화 대비 50% 빠른 속도 구현
하드웨어 최적화 — RTX 5090 환경에서 6250 t/s의 벤치마크 기록
기능 포함 — MTP(Multi-Token Prediction) 드래프트 헤드 탑재
호환성 — 별도의 브랜치 없이 최신 llama.cpp에서 구동 가능

huggingface.co

원문 사이트로 이동

RTX 5090 32GB에서 벤치마크 돌려보니까 다른 NVFP4 양자화 모델보다 4-7% 더 빠르더라.

Quant	Benchmark	Speed
NVFP4	pp2048	6250 t/s
unsloth NVFP4	pp2048	6010 t/s
Q4_0	pp2048	4130 t/s
Q6_K	pp2048	3210 t/s

이 GGUF 파일에는 덤으로 양자화된 MTP draft head도 포함되어 있음.

여기서 자세한 내용 확인하고, 특히 15% 더 빠른 MTP를 위한 권장 설정도 꼭 챙겨 봐라.

주요 댓글

r/localllama

작성자가 새로 공개한 NVFP4 퀀트의 성능과 기존 모델들과의 비교에 대해 논의가 이루어지고 있음.

속도는 절반의 승리일 뿐임. fp8 가중치를 더 많이 보존하는 더 큰 ninfer 형식이 작은 nvfp4보다 엄청난 개선을 보여줬고, 이 형식에 대한 내 생각을 바꾸고 있음. 기존의(혹은 전통적인) nvfp4는 내 컨텍스트 깊이의 기술적 작업에서는 잘 작동하지 않았음. Ninfer는 서빙 플랫폼으로서 개선이 필요하지만, 작성자가 몇 개의 PR을 병합하면 더 좋아질 것임.

나도 같은 생각을 했음. 속도는 정말 좋지만, 제대로 된 결과를 얻으려고 2~3번씩 다시 시도해야 한다면 그 속도는 나한테 아무런 의미가 없거든.

4비트 가중치 때문에 여전히 좀 자잘한 문제들이 있긴 한데, 긴 컨텍스트는 훨씬 안정적이고 오류도 적음. Ninfer가 지금 캐싱 쪽에 결함이 있어서 Hermes처럼 토큰 많이 먹는 애들은 컨텍스트를 원래보다 더 처음부터 다시 처리해야 함. 그래도 프로젝트에 좋은 피드백들이 들어가고 있어서 작성자가 구현해주길 바라는 중. vllm으로 테스트해보려고 비슷한 가중치로 Ninfer 아닌 버전을 만들어볼까 하는데, 낮은 풋프린트로 int8 kv 캐시를 쓰는 게 Ninfer의 장점이라서 말이지. Fi …

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

fp8 버전은 어디에 있음?

분야가 빠르게 발전하고 있어서 더 빠른 양자화 모델들이 이미 나와 있음. 아니면 그냥 vLLM이 원래 더 빠른 건가?

예를 들어 DFlash2를 사용한 pearsonkyle/Qwen3.8-27B-GPTQ-W4A16은 확률적 드래프팅 없이도 pp8195에서 6882 tok/s를 기록함.

진짜 중요한 건 모델의 품질이지. 나도 이 모델 쓰고 있는데: esatapedico/Qwen3.8-27B-NVFP4-MTP-GGUF
그리고 아주 높은 버전도 있지. 그러니까 nvfp4라고 다 같은 게 아니라 품질 차이가 클 수 있음. Q2랑 Q8 버전 사이의 속도 비교처럼 말이야...

다들 pp에서 6k t/s가 나온다고? 난 Mi50 16GB 2개 쓰는데 pp에서 350t/s밖에 안 나옴.

llama.cpp를 사용 중이라면 MTP를 비활성화해 보는 건 어때? 예전 카드들 테스트해 봤는데 1080 Ti에서는 성능 저하를 일으키더라고.

흥미롭네, 노력해 줘서 고마워! 한번 써볼 건데, 최신 llama.cpp 순정 버전으로도 돌아가나? 아니면 브랜치를 따로 컴파일해야 함?

순정 llama.cpp에서도 돌아감: 최근 master 브랜치 빌드에서 테스트해 봄.

중고 5060TI 16g 아주 좋은 가격에 업어왔는데, 이거 아주 유용하겠네. 고마워 :)

여기 거랑 비교하면 어떰? https://huggingface.co/esatapedico/Qwen3.8-27B-NVFP4-MTP-GGUF 난 지금 거기 미디엄 버전 쓰고 있는데.

그건 unsloth의 NVFP4를 GGUF로 재포장한 거고, 내가 비교한 대상이 그거임. 내 퀀트의 top P는 88.525고 같은 사이즈의 unsloth 버전은 88.061이니까, 수치상으로는 내 퀀트가 아주 조금 더 나음. 15.7GB 넘는 NVFP4 퀀트는 안 봤는데, 그 정도 사이즈면 그냥 Q5-Q6 돌리는 게 낫고, Q6가 충실도 면에서는 QAT/QAD 최적화 여부 상관없이 NVFP4 퀀트 다 압살하니까.

알리바바나 엔비디아, 혹은 그 누구라도 좋으니 NVFP4 QAT/QAD 변형 모델을 만들어주면 정말 좋을 텐데.

엔비디아가 NVFP4를 꽤 밀어주는데 왜 직접 만들지는 않는지 궁금하네.

원문r/LocalLLaMA