Qwen3.8-Flash-Next @ 1.66bpw-exl3, 36GB 미만에서 안정적 구동

기분 나쁘게 들으려는 건 아니고 감사하지 않다는 뜻도 아닌데, 왜 대부분의 양자화 배포자들이 KLD나 Livebench처럼 매우 쉬운 벤치마크만 보여주는지 이해가 안 감.

같은 KLD 하락폭이라도 모델에 따라 영향이 다를 수 있는데? 별로 많은 정보를 주는 것 같지 않음.

여러 이유가 복합적으로 작용함:

1. KL div는 변화를 직접 측정하는 가장 객관적인 지표임

2. 벤치마크는 노이즈가 많음

3. 연산량이 많아지면 비용도 많이 듦

KLD는 양자화된 모델의 출력이 원본에서 얼마나 벗어나는지를 직접 테스트함.

이건 양자화된 모델이 확률 질량을 원본 모델(여기서는 HF Transformers에서 BF16으로 실행되는 비양자화 참조 모델)과 얼마나 다르게 할당하는지를 nats 단위로 측정하는 것으로 해석할 수 있음. 하지만 이건 모델이 애초에 얼마나 좋은지, 혹은 엔트로피가 도입되면서 얼마나 나빠지는지에 대해 절대적인 점수를 주지는 않음(아주 모호한 경우 제외). 이건 양자화 벤치마크이지, 양자화된 모델 자체의 벤치마크가 아님.

물론 엔드투엔드 테스트가 KLD가 알려주지 않는 것들을 알려주긴 하지만, 비용이 저렴하지 않음. 모델 크기에 따라 SWE-bench 전체 테스트에 며칠이 걸릴 수도 있고, MMLU-pro에 10시간 이상 걸릴 수도 있는데, 그래도 테스트하고 싶은 모든 것을 충분히 커버한다고 볼 수는 없음. 슬픈 현실은 한 모델의 5~10개 양자화 버전에 대해 테스트를 끝내기도 전에 다음 모델이 나와서 아무도 신경 쓰지 않게 된다는 거임. 클라우드 서버 여러 대에서 벤치마크를 계속 돌리면 좋겠지만, 그 비용을 어디서 충당할지 모르겠음.

이 1.66 bpw 양자화의 경우, 평소 측정 방식대로 돌린 다음 긴 코딩 작업을 수행했음. 총 500k~1M 토큰 정도(계속되는 컴팩팅 때문에 정확히 말하기 어려움; 32GB GPU 하나에서 다 돌리고 싶어서 64k 캐시를 사용함)였는데, 적어도 모델이 일관성을 유지하면서 시각적 피드백 등을 포함하는 복잡한 코딩 작업(raylib을 통해 렌더링되는 C++ 2D 소프트바디 물리 엔진 작성)을 OpenCode에서 완료할 수 있다는 걸 보여줬음.

가즈아!! 무한 속도에 램까지 추가됨!! :D

알고 보니 32GB 미만이었음, 5090 VRAM 용량을 잘못 알았네 x.x

미안, 내가 가진 게 아니라서!