llama.cpp's Preliminary SM120 Native NVFP4 MMQ Is Merged
llama.cpp에 SM120 아키텍처용 NVFP4 네이티브 지원이 추가되어 50시리즈 GPU 등에서 추론 성능이 대폭 향상됨.
llama.cpp의 NVFP4 지원 추가에 대해 50 시리즈 GPU 사용자들의 기대감이 높으며, 성능 향상과 아키텍처별 차이에 대한 기술적 논의가 활발함.
NVFP4는 GPU의 네이티브 언어를 사용함. Blackwell 텐서 코어에 FP4 연산이 실리콘에 직접 박혀 있어서 변환 단계 없이 바로 연산됨. 오버헤드 적고 연산 빠르고 비트 폭은 같음. 35B-UD_Q4_XL이랑 5060ti 16GB 듀얼로 벤치 돌려봤는데 결과 똑같음. Unsloth가 이거 지원해서 최적화된 GGUF랑 llama 빌드 내놓길 기다리는 중.
NVFP4 GGUF를 써야 함. Q4는 여전히 일반 mmq랑 mma 사용함.
NVFP4는 GPU가 갈망하는 바로 그것임.
목마른 GPU네.
이거 CPU 오프로딩 쓰는 MoE에서도 작동함? (NVFP4 추론 정보가 별로 없어서...)
이거 정확히 뭐 하는 건지, 어떻게 쓰는지 설명 좀. 5060ti 쓰고 있고 MoE 모델에서 어텐션만 GPU에 올리고 전문가들은 CPU에 두는 방식으로 쓰고 있음.
기술적으로 잘 모르는데, NVFP4보다 Q8이 더 낫지 않음? 진지하게 물어봄.
NVFP4는 4비트임. 당연히 Q8보다 품질은 떨어짐. 근데 이 포맷의 목적은 그게 아님. 지원하는 GPU(현재는 Nvidia 50xx, 6000 Pro)가 있을 때 다른 4비트 포맷보다 훨씬 빠르다는 게 핵심임. MXFP4도 비슷하고 품질은 좀 더 낮음. 근데 QAT로 직접 학습된 모델(OpenAI GPT-OSS 20b/120b 같은 거)은 MXFP4가 원본 품질이라 Q8보다 훨씬 나음.
나이스. https://huggingface.co/nvidia/NVIDIA-Nemotron-3-Super-120B-A12B-NVFP4 이거 GGUF로 변환할 시간이다.
ㅇㅇ 이 PR은 NVFP4 모델 쓰는 50 시리즈 유저들의 프리필 속도를 엄청나게 빠르게 만들어줌.
혼합 아키텍처 구성은 어떨지 궁금함. Blackwell이랑 Ampere 카드 같이 쓰면 둘 다 캐스팅으로 폴백됨?
50 시리즈뿐만 아니라 RTX 6000 / DGX spark 등도 포함임.
DGX가 SM100이 아니라 SM120 NVFP4인 줄은 몰랐네. 성능을 그렇게 너프했으면 제대로 된 NVFP4 지원이라도 해주지.
가짜 Blackwell은 SM120이고, 소비자용 RTX 5xxx, RTX 6/5/4/2xxx 프로, DGX spark가 여기 해당함. 진짜 Blackwell은 SM100/103 B200/B300임.
깡통 Blackwell이네 ㅋㅋㅋ 가짜 Blackwell은 칩도 없는 GPU임.
미국 기업들이 비용 절감과 데이터 보안을 이유로 비싼 프론티어 AI 모델 대신 오픈 소스 모델로 눈을 돌리고 있음.
미국 기업들이 비용 절감과 데이터 보안을 이유로 비싼 프론티어 AI 모델 대신 오픈 소스 모델로 눈을 돌리고 있음.
사이버 보안 전문가가 Claude를 활용해 며칠 걸리던 고난도 CTF 문제를 단 2시간 만에 해결한 경험담.
사이버 보안 전문가가 Claude를 활용해 며칠 걸리던 고난도 CTF 문제를 단 2시간 만에 해결한 경험담.
