r/LocalLLaMA•2개월 전•510•194
Qwen3.8 모델을 27B, 35B, 122B, 397B 사이즈로 내주면 정말 좋을 텐데
We could really use Qwen3.8 in 27B, 35B, 122B and 397B sizes
핵심 요약
로컬 LLM 커뮤니티를 위해 거대 모델보다는 개인이 돌릴 수 있는 중소형 모델 출시가 필요하다는 의견입니다.
- 모델 사이즈 — 2T 이상의 거대 모델보다 27B~397B 범위의 모델이 로컬 환경에 적합함
- 하드웨어 접근성 — CPU 오프로딩을 활용하면 일반적인 시스템에서도 충분히 구동 가능함
- 커뮤니티 혁신 — 거대 모델 위주의 트렌드는 로컬 모델 생태계의 혁신을 저해함
- 기업용 대안 — 초대형 모델은 결국 대기업의 상업적 모델을 대체하는 수단으로 전락함
2T 이상의 모델 대신, 성능 좋은 중소형 LLM을 계속 출시하는 것이 이 커뮤니티를 활기차게 유지하는 데 정말 도움이 될 것입니다. 최근 나온 1.5~2T 이상의 괴물 같은 모델들을 돌릴 수 있는 사람은 거의 없지만, 제목에 언급된 범위의 모델들은 오늘날 우리가 가진 다양한 시스템에서 (특히 CPU expert offloading을 사용하면) 충분히 쾌적하게 구동할 수 있습니다.
중국 연구소들이 1조 파라미터가 넘는 오픈 웨이트 모델로 신화적인 수준의 최첨단 모델을 따라잡으려는 트렌드는 로컬 모델 커뮤니티의 혁신에 전혀 도움이 되지 않습니다. 이는 실제로 이런 모델을 돌릴 수 있는 대기업들에게 상업적 최첨단 모델의 더 저렴한 대안을 제공할 뿐입니다.
