Basalt 0.2.0 출시: Qwen 3.8 Flash Next NVFP4, 5090+5060 Ti 환경에서 300 t/s(prose) 및 600 t/s(struct) 속도 달성
Basalt 0.2.0: Qwen 3.8 Flash Next NVFP4, 300 t/s prose, 600 t/s struct, 10K t/s prefill on a 5090 + 5060 Ti and 128GB RAM
핵심 요약
Blackwell 전용 추론 엔진 Basalt 0.2.0이 품질과 속도를 개선하여 출시되었습니다.
- 품질 중심 업데이트 — 속도뿐만 아니라 모델의 지능과 정확도 측정에 집중함
- 성능 향상 — 이전 버전 대비 prose 300 t/s, struct 600 t/s로 속도 개선
- 새로운 DQ8 빌드 — 속도를 약간 희생하는 대신 더 높은 품질을 제공하는 옵션 추가
- 커뮤니티 기여 — 깃허브 500 스타 달성 및 사용자 피드백을 통한 지속적인 엔진 최적화
Basalt 0.2.0: 품질 & 속도
다들 안녕! Qwen 3.8 Flash Next 전용 Blackwell 추론 엔진인 Basalt 업데이트 소식 들고 왔다. 원래는 속도가 메인이긴 한데, 이번엔 좀 다르게 가보려고. 요즘 커뮤니티에서 품질 관련해서 말이 많더라고. 다들 입 모아 하는 말이 "모델이 멍청하면 속도가 다 무슨 소용이냐"는 건데, 나도 전적으로 동의함. 그래서 이번엔 품질부터 먼저 짚고 넘어간다. 모든 측정값은 full precision 모델(llama.cpp로 구동한 BF16 가중치)을 기준으로 잡았음.
아래 수치는 전부 Unsloth의 BF16 GGUF랑 llama.cpp(기준 PPL 3.2749)를 사용했고, basalt-bench --quality로 점수 낸 거임. 예전 기준이었던 llama.cpp Q8은 오히려 자체 오차 때문에 결과가 더 안 좋게 나왔음:
| pack | KLD | same top-1 |
|---|---|---|
| llama.cpp Q8 | 0.0325 | 93.98% |
| Basalt Q8 | 0.0200 | 95.34% (higher than llama's in this test) |
| NVFP4-DQ8 (new) | 0.0561 | 92.25% |
| NVFP4-DQ6_K | 0.0624 | 91.65% |
| GSQ-RCO IQ3_S | 0.1497 | 87.56% |
솔직히 엔진마다 측정 툴이 달라서 완벽한 비교는 아니지만, 그래도 참고용으로는 충분할 거다.
새로운 DQ8 빌드. 속도 좀 깎아먹어도 품질 챙기고 싶은 사람들을 위해 Qwen3.8-FN-NVFP4-DQ8을 HF에 올려놨음. 기본값인 -DQ6_K랑 비교하면 KLD 0.0561 vs 0.0624로, 산문 기준 7% 정도 느리다.
손실 압축은 기본값 아님. Basalt에 정확도 깎아먹는 "꼼수" 옵션들이 좀 있는데, 이건 다들 요청해서 넣은 거긴 하지만 기본적으로는 꺼져 있고 켤 때 경고도 뜸. 엔진에서 돌아가는 다른 반올림 연산들은 풀 모델 대비 KLD 0.001 이하로 차이 나게끔 설계했다. 자세한 수치는 랑 에서 확인 가능함.