r/LocalLLaMA•5개월 전•210•26

nvidia/Gemma-4-26B-A4B-NVFP4 모델

nvidia/Gemma-4-26B-A4B-NVFP4

핵심 요약

NVFP4 양자화가 적용된 Gemma-4-26B 모델의 성능과 하드웨어 호환성 및 최적화에 대한 논의.

성능 지표 — NVFP4 양자화가 적용되었음에도 원본 모델과 대등하거나 일부 지표에서 더 나은 성능을 보여줌.
MoE 아키텍처 — 양자화로 인한 가중치 노이즈가 전문가 라우팅을 정규화하여 성능 향상에 기여함.
하드웨어 호환성 — 소비자용 GPU와 데이터센터용 GPU 간의 NVFP4 지원 차이 및 vLLM 설정 최적화 논의.
컨텍스트 최적화 — NVFP4 KV 캐시를 활용하여 5090 환경에서 더 긴 컨텍스트를 확보하는 방법 공유.

5090에서 80% 할당(32GB 중)으로 50k 컨텍스트 정도 나오는 거 확인했음.
18.8GB임

| Benchmark | Baseline (Full Precision) | NVFP4 |
| --- | --- | --- |
| GPQA Diamond | 80.30% | 79.90% |
| AIME 2025 | 88.95% | 90.00% |
| MMLU Pro | 85.00% | 84.80% |
| LiveCodeBench (pass@1) | 80.50% | 79.80% |
| IFBench | 77.77% | 78.1% |
| IFEval | 96.60% | 96.40% |

원문

커뮤니티 목록

r/LocalLLaMA•5개월 전•210•26

nvidia/Gemma-4-26B-A4B-NVFP4 모델

nvidia/Gemma-4-26B-A4B-NVFP4

핵심 요약

NVFP4 양자화가 적용된 Gemma-4-26B 모델의 성능과 하드웨어 호환성 및 최적화에 대한 논의.

성능 지표 — NVFP4 양자화가 적용되었음에도 원본 모델과 대등하거나 일부 지표에서 더 나은 성능을 보여줌.
MoE 아키텍처 — 양자화로 인한 가중치 노이즈가 전문가 라우팅을 정규화하여 성능 향상에 기여함.
하드웨어 호환성 — 소비자용 GPU와 데이터센터용 GPU 간의 NVFP4 지원 차이 및 vLLM 설정 최적화 논의.
컨텍스트 최적화 — NVFP4 KV 캐시를 활용하여 5090 환경에서 더 긴 컨텍스트를 확보하는 방법 공유.

5090에서 80% 할당(32GB 중)으로 50k 컨텍스트 정도 나오는 거 확인했음.
18.8GB임

| Benchmark | Baseline (Full Precision) | NVFP4 |
| --- | --- | --- |
| GPQA Diamond | 80.30% | 79.90% |
| AIME 2025 | 88.95% | 90.00% |
| MMLU Pro | 85.00% | 84.80% |
| LiveCodeBench (pass@1) | 80.50% | 79.80% |
| IFBench | 77.77% | 78.1% |
| IFEval | 96.60% | 96.40% |

주요 댓글

r/localllama

NVFP4의 성능 향상 원인과 하드웨어 가속 이점에 대한 기술적 토론이 주를 이루며, 특히 MoE 구조에서의 퀀타이제이션 효과와 Blackwell 아키텍처의 처리량 향상 가능성에 관심이 집중됨.

135

ROCm에서 NVFP4 돌려보려고 petit kernels 써본 사람 있냐? 결과는 좋아 보이는데 AMD에서 네이티브 지원 없이 얼마나 잘 돌아갈지 궁금하네. 아, llama.cpp에 NVFP4용 Vulkan 지원이 추가된 것 같네? 흥미롭다.

평가 결과가 좀 이상한데. NVFP4가 풀 정밀도보다 점수가 높다고? 여러 번 돌린 평균값은 아닌 듯.

MoE 아키텍처라면 충분히 예상 가능한 결과임. Cerebellum 퀀트 시리즈 만들면서 90번 넘게 실험해 봤는데, imatrix 기반 저정밀도가 전문가 라우팅에 정규화 역할을 함. 레이어당 전문가가 128개면 풀 정밀도에선 라우터가 특정 경로에만 과하게 몰리는데, 퀀타이제이션으로 가중치에 노이즈가 좀 섞이면 토큰이 전문가들한테 골고루 분산됨. 학습할 때 드롭아웃이 과적합 막는 거랑 같은 원리임.

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

LLM 실험 방식 자체에 문제가 있는 거임. 파이프라인의 모든 요소(시드, 온도, 배치 등)를 완벽하게 통제하지 않으면 변동성이 생길 수밖에 없음. 시드 고정 안 하고 temp 0 아닌 상태에서 벤치마크 딱 한 번만 돌리면 결과값의 불확실성이 얼마나 큰지 알 수가 없음.

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

이게 왜 흥미로운 건지 모르겠음... 더 빠른 건가? (벤치마크를 못 봐서) 아니면 그냥 일반적인 4비트 퀀타이제이션보다 품질이 좋은 건가?

NVFP4 연산이랑 Blackwell 하드웨어 가속 경로를 쓰면 BF16 TFLOPS가 아니라 FP4 TFLOPS가 한계치가 됨. B200 기준으로 BF16은 2200인데 FP4는 9000임. 연산 병목 구간이라면 처리량을 4배까지 뽑을 수 있다는 소리. DeepInfra 같은 추론 업체들이 이거 가져다 싸게 서비스하겠지. RTX 6000 Pro 하나 쓰는 개인 유저가 타겟이 아님.

원문r/LocalLLaMA