r/LocalLLaMA•4개월 전•50•13
Gemma4 26b a4b Apex 퀀트 성능이 꽤 괜찮네요
Gemma4 26b a4b Apex quant is quite good
핵심 요약
Gemma4 26b 모델의 Apex 퀀트 버전을 테스트한 결과, 성능 저하 없이 빠른 속도를 보여 공유합니다.
- Apex 퀀트 성능 — 90k 컨텍스트에서 38tps의 빠른 속도와 품질 유지 확인됨.
- 하드웨어 환경 — RX 9060 XT 16GB 환경에서 llama.cpp Vulkan을 사용하여 구동함.
- 비교 테스트 — 기존 Unsloth 퀀트 모델과 비교했을 때 긴 컨텍스트 처리에서 효율적인 모습을 보임.
- 사용자 의견 — 모든 퀀트 버전이 동일한 성능을 내지는 않으므로 직접 테스트해 볼 가치가 있음.
mudler의 gemma4 26b a4b용 apex 퀀트를 써봤는데 정말 놀라웠어요! 루프 없이 90,000 컨텍스트에서 38tps가 나왔고, 놀랍게도 품질 저하도 없었고요. 저는 RX 9060 XT 16GB 환경에서 llama.cpp Vulkan을 사용해 mudler/gemma-4-26B-A4B-it-APEX-GGUF / APEX-I-Compact (15gb)를 돌렸습니다.
비교하자면, 이전에 쓰던 퀀트인 gemma4 26b a4b unsloth ud-q5kxl 퀀트(21.2gb)는 50k 컨텍스트에서 비슷한 긴 컨텍스트 테스트를 할 때 루프에 빠졌었거든요.
이게 무조건 더 나은 퀀트라고 주장하는 건 아니에요. 하지만 한번 시도해 볼 가치는 있다고 생각합니다.
