r/LocalLLaMA•5개월 전•149•47
개인 평가 후속: Gemma4 26B MoE (Q8) vs Qwen3.5 27B Dense vs Gemma4 31B Dense 비교
Personal Eval follow-up: Gemma4 26B MoE (Q8) vs Qwen3.5 27B Dense vs Gemma4 31B Dense Compared
핵심 요약
Gemma 4 26B, Qwen 3.5 27B, Gemma 4 31B 모델들의 코딩 성능 및 효율성을 비교한 테스트 결과 공유.
- 모델 성능 비교 — Gemma 4 26B, Qwen 3.5 27B, Gemma 4 31B 모델의 코딩 작업 수행 능력 및 효율성 테스트.
- 양자화 영향 분석 — Gemma 4 26B 모델의 Q8 양자화 적용 시 성능 변화와 Dense 모델들과의 차이점 확인.
- 효율성 지표 — 토큰 사용량, 도구 호출 성공률, 작업 완료 시간 등 실질적인 로컬 에이전트 성능 지표 분석.
- 하드웨어 환경 — 테스트에 사용된 MI50 32GB GPU 및 Xeon CPU 기반의 로컬 환경 구성 공유.
이 글은 Qwen 3.6 35B와 Gemma 4 26B를 비교한 이전 게시물에 대한 후속 업데이트입니다.
특히 다음 사항들에 대해 후속 조치를 취하고 싶었습니다:
- Gemma 4 26B가 양자화로 인한 성능 저하를 겪었을 수 있으므로, 8비트 양자화로 UD의 Q8_K_XL을 사용하여 다시 테스트해보고 싶었습니다.
- 많은 분들(저 포함)이 Qwen 3.5 27B Dense 모델이 이 테스트에서 어떻게 작동할지 궁금해했습니다.
- Dense 모델 이야기가 나온 김에, Gemma 4 31B가 어떻게 작동하는지도 포함하고 싶었습니다.
완벽한 비교를 위해 이전 실행 결과와 통합된 결과를 공유합니다.
1. 테스트 결과
| Metric | Qwen3.6-35B Q4 | Gemma4-26B Q4 | Gemma4-26B Q8 | Qwen3.5-27B Q4 | **Gemma4-31B Q4** |
| ----------------------- | -------------- | ------------- | ------------- | -------------- | ----------------- |
| Baseline failures | 37 | 37 | 37 | 37 | 37 |
| **Tests fixed** | 32 (86.5%) | 28 (75.7%) | 17 (45.9%) | **37 (100%)** | **37 (100%)** |
| **Regressions** | **0** | 8 | **0** | **0** | **0** |
| **Net score** | 32 | 20 | 17 | **37** | **37** |
| Still failing (of 37) | 5 | 9 | 20 | **0** | **0** |
| Post-run total failures | 5 | 17 | 20 | **0** | **0** |
| Guardrail violations | 0 | 0 | 0 | 0 | 0 |
2. 토큰 사용량
| Metric | Qwen3.6 Q4 | Gemma4 26B Q4 | Gemma4 26B Q8 | Qwen3.5-27B Q4 | **Gemma4 31B Q4** |
|---|---|---|---|---|---|
| Input tokens | 634,965 | 1,005,964 | 703,732 | 553,137 | 1,115,666 |
| Output tokens | 39,476 | 89,750 | 68,055 | 42,183 | 62,465 |
| **Grand total (I+O)** | 674,441 | 1,095,714 | 771,787 | **595,320** | 1,178,131 |
| Cache read tokens | 4,241,502 | 3,530,520 | 3,044,400 | **7,518,047** | 3,335,808 |
| Output/Input ratio | 1:16 | 1:11 | 1:10 | 1:13 | 1:17 |
| **Tokens per fix** | ~21K | ~39K | ~45K | **~16K** | ~32K |
| **Tokens per net score point** | ~21K | ~55K | ~45K | **~16K** | ~32K |
