APEX MoE 양자화 업데이트: Qwen 3.5 이후 25개 이상의 신규 모델 및 새로운 I-Nano 티어 추가

APEX(MoE 인식 혼합 정밀도 양자화 전략)에 대한 간단한 후속 업데이트입니다. 원래 게시물은 Qwen 3.5 35B-A3B에 관한 것이었습니다(https://www.reddit.com/r/LocalLLaMA/comments/1s9vzry/apex_moe_quantized_models_boost_with_33_faster/). 그 이후로 컬렉션이 대부분의 주요 제품군에 걸쳐 30개 이상의 MoE로 늘어났습니다. 또한 새로운 초압축 티어가 추가되었습니다.

지금까지의 피드백

돌아오는 보고들은 솔직히 제가 예상했던 것보다 더 좋습니다!

• 긴 문맥 유지력이 뛰어납니다. 사람들은 APEX I-Balanced와 I-Compact가 30-50B급 MoE에서 32k 토큰을 훨씬 넘어서도 일관성을 잘 유지한다고 보고하고 있습니다. 균일한 Q4_K가 눈에 띄게 저하되기 시작하는 크기에서도 말이죠. 가설은 이렇습니다: 희귀하거나 긴 범위의 토큰이 라우팅되고 임베딩되는 공유 전문가와 에지 레이어를 고정밀도로 유지하면, 공격적인 균일 양자화가 깨뜨리기 쉬운 긴 문맥 동작이 보존된다는 것입니다. 다른 모델들에 비해 압도적으로 가장 좋은 KL99% 값을 기록하며 수치로도 이를 뒷받침합니다.
• 코딩 양자화는 크기 이상의 성능을 보여줍니다. 특히 Qwen3.6 35b a3b 사용자들은 I-Compact와 I-Mini가 실제 코딩 작업에서 크기 대비 F16에 놀라울 정도로 가깝게 유지된다고 지적하고 있습니다.

보고해주신 모든 분께 감사드리며, 이것이 바로 아래의 저비트 티어를 계속 추진할 명분이 됩니다.

첫 게시물 이후 추가된 모델

제품군별로 그룹화했으며, 대부분은 I-Mini/I-Compact에서 단일 소비자 GPU에 맞는 30-70B급 MoE입니다:

Qwen 계열

• Qwen 3.5 122B-A10B, Qwen 3.5 397B-A17B, Qwen3.5 Claude-Distilled, Qwen3.5 Fernflower (검열되지 않음), Qwen3.5 TQ
• Qwen 3.6 35B-A3B, +heretic, +Claude 4.6 distill, +Claude 4.7 distill
• Qwen3-Coder 30B, Qwen3-Coder Next

Frontier급 MoE (양자화를 위해 Blackwell 대여)

• MiniMax-M2.5, MiniMax-M2.7 — 228B / 24B 활성, 지금까지 중 가장 큼
• Mistral-Small 4 119B-2603
• NVIDIA Nemotron-3-Super 120B-A12B
• GLM-4.7 Flash, Step-3.5 Flash
• Nemotron-3-Nano 30B-A3B, Nemotron-3-Nano-Omni Reasoning — 멀티모달 (비전 + 오디오 + 텍스트)
• Holo3 35B-A3B
• Huihui3.5 67B-A3B

하이브리드 Mamba / SSM MoE

• Nemotron-3-Nano 30B-A3B, Nemotron-3-Nano-Omni Reasoning — 멀티모달 (비전 + 오디오 + 텍스트)
• Holo3 35B-A3B
• LFM2 24B-A2B

Gemma 4 계열

• gemma-4 26B-A4B-it (오늘 Google의 업데이트된 채팅 템플릿으로 재양자화됨), +Claude Opus distill, +heretic, Gemopus-4 Preview

커뮤니티 MoE 병합