r/LocalLLaMA•2개월 전•85•96
Gemma 4 26b A4b 모델 사용 후기
Appreciation for Gemma 4 26b A4b
핵심 요약
Gemma 4 26b A4b 모델의 뛰어난 언어 능력과 속도, 효율성에 대한 긍정적인 사용 후기입니다.
- 모델 성능 — 뛰어난 언어 능력과 독일어 처리 성능을 보여줌
- 속도 효율성 — 구형 노트북에서도 초당 10~23 토큰의 준수한 속도 제공
- 멀티모달 기능 — 기본적으로 멀티모달을 지원하여 활용도가 높음
- QAT 논쟁 — QAT 모델의 성능 저하 여부를 두고 사용자 간 의견 대립 발생
이 모델 정말 마음에 든다. Bartowski가 만든 q4_k_l을 사용 중인데(QAT가 어떤 면에서는 꽤 성능 저하가 있다는 이야기를 들었음), 내가 던지는 모든 작업을 쉽게 처리해. 에이전트 및 코딩 성능은 당연히 Qwen만큼 좋지는 않지만 충분히 괜찮고, 모델 크기와 속도를 고려하면 계속해서 놀라움을 금치 못하고 있어.
모델의 개성도 정말 마음에 들어. 특히 낮은 소프트 로짓 캡핑 값을 설정했을 때 아주 훌륭하고 감성적인 글을 써내. 물론 기본적으로 멀티모달을 지원한다는 점도 큰 장점이지.
하지만 이 모델의 진짜 주인공은 언어 능력과 지식이야. 독일어 실력이 뛰어나서 그런 면에서는 마치 거대한 클라우드 모델처럼 느껴지고, 이렇게 빠른 로컬 모델치고는 아는 것도 꽤 많아. 확실히 Qwen보다 세계 지식이 더 많아.
그리고 이 모든 게 내 낡은 노트북에서 600 token/s의 프리필 성능과 함께 초당 10-23 토큰 정도로 돌아가.
이 모델에 대한 당신의 경험은 어떤가요? 한동안 사용하지 않았다면 새로운 채팅 템플릿으로 다시 한번 시도해보세요.
