MagicQuant (v2.0) - 하이브리드 혼합 GGUF 모델 + Unsloth 동적 학습 양자화 설정 + 승자 요약 벤치마크 표 등
MagicQuant (v2.0) - Hybrid Mixed GGUF Models + Unsloth Dynamic Learned Quant Configurations + Benchmark table with collapsed winners and more
핵심 요약
하이브리드 GGUF 양자화 모델을 생성하고 최적의 성능을 찾아내는 MagicQuant 프로젝트 소개.
- MagicQuant 프로젝트 — 하이브리드 GGUF 양자화 모델을 생성하고 최적의 성능을 찾아내는 파이프라인 구축함.
- 벤치마크 데이터 — 기존 양자화 방식보다 더 나은 성능을 보여주는 모델 아키텍처별 최적의 양자화 조합을 제시함.
- 비선형 최적화 — 모델별 특성을 학습하여 VRAM 대비 최고의 성능을 낼 수 있는 비선형 양자화 지점을 찾아냄.
- MTP 레이어 이식 — GGUF 모델에 MTP 레이어를 이식하여 추론 속도를 2~3배 향상시키는 기술적 논의가 이루어짐.
지난 5개월 넘게 하이브리드 GGUF 양자화 혼합물을 생성하는 파이프라인을 구축하는 데 시간을 보냈습니다. 또한 Unsloth(또는 다른) 모델의 양자화 대 텐서 할당 방식을 학습하도록 만들었습니다. Qwen3.6 27B와 같은 일부 아키텍처는 모델 크기를 의미 있게 줄이면서도 KLD를 낮출 수 있는 매우 독특한 패턴을 가지고 있습니다. 물론 아키텍처에 따라 완전히 다르죠! 이 프로젝트를 만드는 과정이 정말 즐거웠습니다. 저는 이 프로젝트를 "MagicQuant"라고 부릅니다. 현재 어떤 결과물을 만들어내고 있는지, 그리고 이를 보여주기 위해 게시된 저장소와 함께 공유하고 싶습니다.
하이브리드 측면은 정말 재미있고, 제가 주로 이야기할 내용이기도 합니다. 하지만 최종 결과 표에는 하이브리드뿐만 아니라 Unsloth, llama.cpp 등 학습 대상이 된 모든 것이 포함되어 있지만, 파이프라인의 관문을 통과한 생존자들만 보여줍니다.
MagicQuant는 지배력, 프리미엄, 비선형 하위 공간 승자, 그리고 붕괴 로직을 가지고 있습니다. "IQ4_XS가 Q4_K_S보다 나은지 모르겠는데 크기는 같네. 이 모델이 IQ4_NL에 알레르기가 있는지 모르겠지만 행운을 빌어!"라고 말하는 양자화 덤프 저장소와는 다릅니다. MagicQuant는 사용 가능한 VRAM을 기준으로 가성비가 가장 좋은 것이 무엇인지 실제로 테스트하는 것을 목표로 합니다.
일부 모델은 매우 예측 가능하고 지루하며, 개선할 여지가 별로 없지만, 좋은 선택적 하위 영역이나 훌륭한 붕괴 공간 등이 있을 수 있습니다. 일부 모델은 이상하고 독특한 특성을 가지고 있는데, 시스템이 이를 인식하고 미친 듯이 최적화합니다.
MagicQuant는 제가 개인적으로 이 분야에서 느끼는 몇 가지 핵심 문제를 해결하는 것을 목표로 합니다:
1.) 모두가 Q8/Q6/Q5 등을 게시합니다. 하지만 벤치마크가 없습니다. 한 양자화에서 다른 양자화로 넘어갈 때 KLD가 급격히 떨어졌나요? 그렇다면 왜 명백히 나쁜 거래를 보여주는 건가요?
2.) Q4 크기 범위에 있어야 하지만, 비선형적으로 더 나은 KLD 승리를 위해 몇 바이트를 더 희생할 의향이 있다면 어떻게 할까요? 즉, 옵션으로 존재할 가치가 있는 좋은 비선형 KLD 거래 지점을 찾는 것입니다.
3.) 모델을 다운로드할 때, 어떤 양자화가 중요한지 알고 싶습니다. 현재 사용 가능한 모든 양자화가 아니라요. 무엇이 가치가 있을까요? 이 모델에서 무엇이 더 잘 작동했을까요? 힌트를 드리자면, 모델 아키텍처는 이상합니다. 어떤 것은 특정 양자화를 좋아하고, 어떤 것은 노이즈가 유익한 특정 비트 범위에서만 이상한 양자화를 좋아하고, 어떤 것은 알레르기가 있고, 어떤 것은 이상한 것을 엄청나게 선호합니다. 어떤 것은 MXFP4를 사랑하지만, 대부분은 싫어하죠.
4.) 이상 징후를 감지하고, 추적하고, 존재를 검증하고, 학습된 패턴을 악용합니다. 이는 드물지만 존재할 때는 사용해야 합니다! Qwen3.6 27B는 악용될 수 있는 이런 이상함의 범주에 속합니다.
이 글은 깁니다. '건너뛸 부분'은 다음과 같습니다:
- 예제 섹션 - 실제 결과를 보여줍니다. 이해하려면 읽어야 합니다.
- 이해해 주세요 - "이것은 생각보다 더 근거가 있다, X를 이해해 달라"는 주제의 섹션을 갖는 것이 이상하다는 것을 압니다. 하지만 이 섹션 없이는 MagicQuant를 잘못 판단하거나 오해할 수 있습니다. 건너뛰어도 되지만 중요하다고 생각합니다.
- 복제 섹션 - 선택 사항이지만 멋집니다.
- 비선형 승리 섹션 - 승자가 어떻게 선택되는지, 이것이 무엇을 의미하는지 관심이 없다면 건너뛰세요.
- MagicQuant란 무엇인가 섹션 - 읽는 것이 좋겠지만, 결과만 보고 다운로드해서 플레이하고 싶다면 이것도 건너뛰세요.
기본적으로 예제와 최종 섹션만 읽으면 충분합니다. 나머지는 이해하고 싶거나 질문이 있는 사람들을 위한 소스입니다. 다시 한번 길어서 죄송하지만, 퇴근 후 많은 시간을 들여 작업한 결과물입니다.
