r/LocalLLaMA•5개월 전•126•42
엔비디아, Kimi-K2.6 및 Kimi-K2.5 NVFP4 모델 공개
NVFP4 Kimi2.6 and Kimi 2.5 released by Nvidia
핵심 요약
엔비디아가 Moonshot AI의 Kimi 모델을 NVFP4 형식으로 양자화하여 공개했습니다.
- 모델 공개 — 엔비디아가 Kimi-K2.6 및 K2.5 모델을 NVFP4 형식으로 양자화하여 배포함.
- 성능 벤치마크 — 기존 INT4 베이스라인 대비 주요 지표에서 동등하거나 개선된 성능을 보임.
- 상업적 활용 — 해당 모델들은 상업적 및 비상업적 용도로 자유롭게 사용 가능함.
- 하드웨어 요구사항 — 고성능 모델 구동을 위해 상당한 VRAM과 컴퓨팅 자원이 필요함.
NVIDIA Kimi-K2.6-NVFP4 모델은 Moonshot AI의 Kimi-K2.6 모델을 양자화한 버전입니다. 이 모델은 최적화된 트랜스포머 아키텍처를 사용하는 자기회귀 언어 모델입니다. 자세한 정보는 여기에서 확인하세요. NVIDIA Kimi-K2.6 NVFP4 모델은 Model Optimizer를 통해 양자화되었습니다.
이 모델은 상업적/비상업적 용도로 바로 사용할 수 있습니다.
정확도 벤치마크 결과는 아래 표와 같습니다:
|Precision|GPQA Diamond|SciCode|τ²-Bench Telecom|MMMU Pro|AA-LCR|IFBench|
|:-|:-|:-|:-|:-|:-|:-|
|Baseline (INT4)|90.9|52.6|98.2|75.6|71.0|73.9|
|NVFP4|90.4|54.4|98.0|76.5|71.8|73.9|
Baseline: Kimi-K2.6 네이티브 INT4 형식. 벤치마크 설정: temperature=1.0, top_p=0.95, max num tokens 128000.
링크:
