양자화를 위한 가중치 공간 프로그래밍: Nace 양자화 모델, Qwen 9B, 27B, 35B 및 Flash Next에서 최대 2배 향상된 KL 발산 달성 [GGUF]

가중치 공간 양자화 전후의 27B 파일 평균 KL

진짜 그때 기분은 딱 이거였음:

Nace 가중치 공간 양자화

처음 만든 Nace 양자화 Q3 체크포인트를 기존 9B 양자화 모델 50여 개랑 비교해봤는데, 최상위권을 유지하더라. 진짜 소름 돋았어. 모델 하나가 가중치 공간에서 다른 모델을 양자화하는 거잖아. Qwen 9B용 Nace Q3 양자화 모델은 다른 최첨단 모델이 가중치를 직접 수정해준 덕분에 KL 발산에서 동급 최강을 찍었어. 이 방식을 더 큰 모델(27B/35B)에도 적용해봤는데 역시 SOTA를 유지하더라고. 물론 더 큰 모델(QFN)에서는 효율이 좀 떨어지는 감이 있긴 해. 지금 QFN/Deepseek 쪽 개선 작업 중이고 이미 괜찮은 결과가 나오고 있는데, 이번 프로젝트는 토큰 제한 때문에 일단 여기까지 했어. 논문 곧 나올 예정이야 (GPU 지원해줄 사람 있으면 DM 줘).

벤치마크 및 평가

Top-1 정확도(poster)는 양자화 모델이 풀 모델이랑 똑같은 다음 토큰을 얼마나 자주 맞히는지 나타내는 거야. 100%면 절대 틀리지 않는다는 뜻이지. 각 패널은 128K 컨텍스트에서의 모델 하나를 의미하고, 여러 서브셋 점수를 하나로 합친 거야. 네 모델 전부 우리 가중치가 동급이나 그 이하 사이즈 모델 중에서 가장 높은 점수를 기록했어: 9B Q3_K_XL은 4.7GB에서 90.5%, 35B Q3_K_S는 15.3GB에서 91.2%, 27B는 17.3GB에서 97.7%, Flash-Next는 93GB에서 93.0%를 찍었어. 더 자세한 비교를 위해 KL 발산 결과는 아래에 첨부함:

긴 컨텍스트 안정성

대부분의 퀀트 모델은 짧은 텍스트에 맞춰 튜닝되고 평가받다 보니, 결국 짧은 컨텍스트에만 최적화돼서 긴 컨텍스트에서는 쓸모없어지는 경우가 많음. 이해를 돕기 위해 아래 다이어그램을 보면 각 모델마다 패널이 두 개씩 있는데, 왼쪽은 512 토큰, 오른쪽은 128K 기준임. 여기서 긴 컨텍스트에서의 성능 저하(drift)가 드러나는데, 우리 9B IQ3_M 모델은 512 토큰에서 0.13이던 게 128K에서는 0.45까지 치솟는 반면, 27B 모델은 거의 변화가 없음. 128K 환경에서 우리 파일들은 같은 크기나 더 작은 다른 모든 파일보다 낮은 KL 값을 보여줌.

p99 KL divergence

평균 KLD는 퀀트 모델이 긴 세션에서 맛이 가버리는 치명적인 실패를 가릴 수 있음. 그래서 상위 1% 토큰(p99 KL)도 살펴봤음. 9B Q3_K_XL의 하위 1%는 1.25 수준임. 27B랑 Flash-Next는 꼬리 부분이 평탄하게 유지됨. 전반적으로 Nace 퀀트가 전체 분포에 걸쳐서 탄탄한 성능을 유지하고 있다는 걸 알 수 있음.

데이터 하위 집합별 결과

특정 사용 사례가 중요하다면, 텍스트 유형별로 나눈 128K top-1 점수를 확인해 보셈. 코딩이 제일 쉬운데, 우리 파일들은 원본 모델이 선택한 값의 88~98%를 유지함. 산문이나 채팅은 좀 더 어려워서 78~98% 수준임. 어떤 모델이든, 어떤 분류든 우리 체크포인트가 같은 크기나 더 작은 파일들 중에서는 점수가 제일 높음.

작업 벤치마크를 통한 검증

이 모델들이 실전에서 쓸만한지 보려고 지식 집약적인 MMLU로 돌려봤음. terminal-bench를 돌릴 GPU가 더 이상 없어서, 혹시 고사양 장비 가진 형들이 검증 좀 해주면 고맙겠음. 이건 MMLU 질문 13,943개에 대한 답변 확률 점수임. 채팅 템플릿이나 퓨샷(few-shot) 예제는 안 썼음. 전체적으로 성능 향상이 있다고 볼 수는 있지만, 사실 노이즈 수준임. 여기서 핵심은 실전 작업에서 모델 크기별로 어떤 트레이드오프가 있는지 보여주는 거임. 보다시피 Q3~Q4 정도면 고정밀 모델이랑 구분하기가 이미 힘듦.

실행 환경

NVIDIA GPU 대여해서 썼고, Flash-Next는 llama.cpp 사용함. 9B/35B/27B BF16 레퍼런스는 H200, 퀀트 파일은 L40S를 썼음. Flash-Next의 짧은 레퍼런스는 bf16 가중치에서 MLX fp32 포워드를 사용함. 레퍼런스 구현 방식도 GGUF랑 EXL3 간에 차이가 있음.

다운로드 및 실행

• Qwen3.5-9B

• Qwen3.8-27B

• Qwen3.6-35B-A3B

• Qwen3.8-Flash-Next

사용하는 프레임워크에 맞는 퀵스타트는 모델 카드에서 확인하셈. 코딩이나 에이전트 작업 돌려보고 어떤 파일, 어떤 러너 버전에서 뭐가 터졌는지 알려주면 좋겠음. 이 글에서는 속도 관련 언급은 안 함.

세상에.