통계적으로 손실 없는 Qwen3.8 27B GGUF

매우 단순화된 설명(그쪽 말을 그대로 믿는다면 말이지, 내가 주장하는 게 아니라 35k 토큰 정도 테스트해 본 결과임): 사람들이 보통 에이전트를 사용하는 용도로 쓴다면 FP8보다 성능이 좋은 Q6임. 만약 이상한 걸 시도하면서 (동의를 얻었다고는 하지만) 마크 저커버그의 신체 복제본으로 다리를 만들라고 시키면, 고블린을 만나게 될 거임.

Q6는 양자화 외에 아무것도 안 해도 평균 제곱 오차 면에서 MXFP8보다 아주 약간 더 나음.

Q6는 보정 없이도 활성화 값이 8비트로 양자화된(모두가 사용하는 기본값이고 Qwen도 기본으로 이렇게 함) FP8보다 말 그대로 더 나음. 보정까지 하면 Q6는 풀 정밀도 활성화 값을 가진 FP8과 거의 동등함. 이거 완전 아무것도 아닌 거 아님? 작성자가 말 그대로 아무것도 안 한 거 같은데?

누가 이거 BF16 대비 KL 발산 점수를 일반적인 Unsloth 모델들과 비교해 줄 수 있음? 작업 자체는 정말 감사하고 좋게 보는데, 이게 엄청난 성과인지 아니면 그냥 멋진 기술적 시도인지 구분하기가 어렵네.

아니, 대신 참고할 수 있게 Unsloth 그래프를 보여줄 수는 있음. 그리고 맞음, Unsloth는 간격이 다른 ChatGPT 생성 그래프만 공개했었지.

누군가 이 모델의 KLD 수치를 같은 형식으로 제공해 주길 바람.