r/LocalLLaMA•3개월 전•75•84
Gemma4 e2b 진짜 좋네요, 저사양 컴퓨터에서 쓸만한 다른 소형 모델 또 뭐 있을까요?
gemma4 e2b is really good, what other small models work on crappy computers?
핵심 요약
저사양 PC에서 Gemma4 e2b와 Qwen 3.5 4b 등 뛰어난 성능의 소형 모델을 사용하는 사용자들의 추천과 경험 공유.
- Gemma4 e2b 성능 — i5 6500 환경에서 9t/s 속도로 ChatGPT 3.5를 능가하는 결과물 제공함
- 추천 소형 모델 — Qwen 3.5 4b, lfm2.5, Mellum 2 등이 코딩 및 일반 대화용으로 언급됨
- 모바일 환경 활용 — 아이폰 등 모바일 기기에서 로컬 LLM을 구동하여 데이터 제한 없이 활용하는 사례 증가함
- QAT 모델 효율성 — 데이터 라벨링 작업 등에서 QAT 버전 모델이 놀라운 처리 속도와 정확도를 보여줌
i5 6500에서 돌리고 있는데 9t/s 나오네요. 진짜 빠르고 결과물도 ChatGPT 3.5보다 훨씬 나아요. ChatGPT 4.0은 많이 안 써봐서 모르겠지만 아마 그 정도는 되는 것 같아요. 또 괜찮은 소형 모델 뭐 있을까요? 이거 쓰기 전에는 Qwen 3.5 4b 썼었는데 그것도 진짜 대박이었거든요.
