Infernix - 새로운 릴리즈!

Basalt 메인테이너입니다. 비교 글에서 언급된 내용에 대해 몇 가지 짚고 넘어갈게요.

• Basalt는 기본적으로 전문가(expert)를 건너뛰거나 경로를 재설정하지 않습니다. Tail skip, route prior, relaxed drafting은 시작 시 경고를 출력하는 옵트인 플래그입니다. 어제 이에 대한 추가 정보를 게시하기도 했죠.

• 네, 기본 NVFP4 Basalt 파일은 dense 레이어를 Q6_K로 유지하며, HF 카드에 KLD와 모든 양자화에 대한 top-1 수치가 명시되어 있습니다. Q8_0 dense와 비교한 측정 비용: KLD +0.0063, top-1 91.46% vs ~91.8% (여기 문서화됨). 작업 평가에서는 45.6 / 38.0 대 45.4 / 38.1로 측정되어, 실제 사용 시 체감할 만한 차이는 없습니다. 원한다면 변환기를 통해 Q8_0 dense(--dense-q8-0)로 빌드할 수도 있습니다.

• 5-8배의 TTFT 격차는 제가 측정한 것과는 다르지만, 흥미로운 결과라 제 하드웨어에서도 확인해 보겠습니다. 여러 카드에서 정확도와 속도를 개선하는 작업으로 바빴거든요.

런처와 비트 단위로 정확한 BF16 모드 작업은 훌륭하네요. 5090 하나를 쓰는 환경에서 Infernix는 확실히 좋은 선택지입니다! 저도 작업하면서 Infernix에서 몇 가지 아이디어를 얻었고, 당연히 당신도 Basalt에서 유용한 건 가져다 쓰세요. 오픈 소스의 묘미 아니겠습니까.

그럼 그 10% KL 발산은 어디서 나온 건가요? Basalt 팬으로서 정말 즐겁게 사용하고 있었는데... 만약 10%가 사실이라면 정말 슬픈 일이네요..

Q6_K 헤드에서 나온 수치입니다. 다만 상대적 KL 발산이라는 점을 명심하세요:

Q8 dense: 0.01365, Q6_K: 0.06115

참고로 양자화를 한 단계 낮추는 것이 훨씬 더 큰 차이를 만듭니다. IQ3_S는 0.177(KLD가 두 배 이상)이죠. 정밀도 문서와 HF 카드에 모두 나와 있습니다. 변환 스크립트와 엔진에서 지원하는 Q8 dense NVFP4 변형이나 Q4_XL(0.01213)을 사용할 수도 있습니다.

비극적이네. 난 3090 두 개 쓰고 있는데.

Basalt 및 기타 엔진에서 기본적으로 사용되는 품질 희생 최적화(전문가 tail skipping 등)

당신(혹은 업데이트 로그를 작성한 LLM)은 도대체 무슨 소리를 하는 건가요?