r/LocalLLaMA•약 2개월 전•156•73
Deepseek V4 출시와 함께 모델 크기 변화 추세를 살펴봤습니다. 내년 이맘때쯤이면 일반 소비자용 노트북에서도 Opus 4.5 수준의 모델을 돌릴 수 있을 것 같네요!
With release of Deepseek V4 I wanted see how the model sizes are trending over time. The trend is that by this time next year, we probably will have Opus 4.5 level models on consumer grade laptops!
핵심 요약
Deepseek V4의 효율성을 바탕으로 향후 소비자용 하드웨어에서 고성능 LLM 구동 가능성을 분석한 글입니다.
- 모델 크기 추세 — 모델 효율성이 향상되면서 소비자용 기기에서의 구동 가능성이 높아짐
- 하드웨어 병목 현상 — 모델 성능은 좋아지지만 RAM과 대역폭 등 하드웨어 사양이 뒷받침되어야 함
- 모델 특화 전략 — 지식 밀도와 에이전트 성능 등 모델마다 강점이 달라 상호 보완적 활용이 필요함
[블록 1/3] Deepseek V4 Flash가 엄청나게 똑똑하면서도 5만 달러 미만의 예산으로 구축할 수 있는 시스템에 들어갈 정도로 작다는 사실에 놀랐어. 비싸긴 하지만 데이터센터급은 아니지. 그래서 모델 크기와 점수의 시간적 추세를 확인하고 싶어서 Opus/Sonnet 5를 사용해 위와 같은 그래프를 만들어봤어.
[블록 2/3] 난 LLM 전문가는 아니라서 작은 모델에 물리적 한계가 있다는 건 확실히 알아. 하지만 우리가 그 한계에 얼마나 가까워졌는지는 모르겠어. 어쩌면 작은 모델들이 포화 상태에 이르기까지 아직 갈 길이 멀었을 수도 있지. 이 추세가 계속되길 바라고, 만약 그렇다면 내년에는 일반 맥북 에어/프로에서도 Opus 4.5 수준의 모델(AA 점수 40 근접)을 돌릴 수 있게 될 거야!
[블록 3/3] [데이터 포인트가 너무 적어서 40점 이상의 추세는 신뢰하지 않아]
