10-16GB VRAM에서 구동 가능한 모델 순위
Every Model That Can Be Run On 10-16GB VRAM Ranked
핵심 요약
10-16GB VRAM 환경에서 사용 가능한 LLM 모델들을 성능과 특징별로 분석한 순위 가이드입니다.
- 모델 평가 기준 — 속도, 일관성, 언어 처리 능력, 슬롭 패턴, 검열 여부 등을 종합적으로 평가함
- 추천 모델 순위 — Gemma 4 26B-A4B를 1위로 선정하며 Qwen 및 Mistral 계열 모델들을 상세히 비교함
- 하드웨어 제약 — 10-16GB VRAM 환경에 최적화된 모델과 24GB VRAM 사용자를 위한 추가 옵션을 제시함
- 모델별 특성 — GLM, Qwen, Gemma, Mistral 등 주요 모델군별 고유한 성향과 장단점을 정리함
c.ai에서 첫 환각 모델이 나온 지 벌써 4년이 지났는데, LLM의 자발성이나 흥미로운 환각 기능 측면에서는 아직도 갈 길이 멀다. 다행히 작년에 10~16GB VRAM 환경에서도 Kobold나 LLAMA를 통해 최대 64k 컨텍스트 윈도우까지 쓸만한 모델을 돌릴 수 있는 새로운 아키텍처가 등장했다.
요구 사양: 10~16GB VRAM - 26~32GB RAM.
평가 기준:
-
속도: 초당 토큰 생성 속도가 최소 10t/s 이상인지.
-
일관성: 대화/독백/시점이 기본적인 논리(로봇 같은 느낌)나 행동주의를 제외하고 내부적으로 말이 되는지.
-
JP/PT-BR/US-EN: 오타, 뉘앙스, 거친 표현을 처리하거나 해석할 수 있는지.
-
슬롭(Slop) 패턴: "긴 그림자를 드리우며"부터 "오존과 탄 설탕 냄새가 난다" 같은 상투적인 표현이 얼마나 자주 나오는지.
-
MOE vs FULL: FULL 모델 대신 MOE를 선택할 가치가 있는지.
-
검열: 이 모델들은 전부 NSFL 주제에서도 거부율이 없거나 매우 낮으니 걱정 마라.
-
지시/엔지니어링: Pandora Instructions를 사용했을 때와 안 했을 때를 모두 테스트했다. 모델이 23개의 복잡하게 얽힌 규칙을 처리할 수 있다면, 그 어떤 것도 처리할 수 있거나 아예 프롬프트가 필요 없다는 뜻이다.
참고: CoT 모델은 전부 걸렀다. 토큰 낭비고, 느리고, 전혀 필요 없다. 프롬프트만 잘 짜면 똑같다. Q_4_K보다 높은 양자화 모델이면 아무거나 골라라. 크기는 중요하지 않다 ( ͡° ͜ʖ ͡°).
함정: 70B, 120B, 300B 모델로 애니/만화/영화/음악에 대한 간단한 지식 테스트를 해봤는데, 200B 이상 모델만 제대로 된 데이터를 가지고 있더라. 120B조차도 네가 관심 있는 매체에 대한 정보를 제대로 모르는 경우가 태반이다. 근데 그걸 누가 돌릴 수나 있겠냐?
목록 (최고에서 최악 순/이유):
-
Gemma 4 26B-A4B: Qwen 35B-A3B랑 비슷한데 대화/독백, 지시 이행 능력이 더 좋고, 약간 더 똑똑하고 정확하며 더 재밌음.
-
Qwen 3.6 35B-A3B (Abliterated): 빠르고 정확하고 꽤 재밌음. 근데 지시 프롬프트가 제대로 안 들어가면 이전 입력값이나 출력 형식/패턴에 과적합되거나, 헛소리를 하거나, 지시 사항 때문에 질문을 너무 많이 해댈 수 있음.
-
Gemma 4 Instruct 19B-A1B Heretic (Abliterated): 26B-A4B보다 좀 더 딱딱하고 평범하지만, 정확도와 논리는 잘 유지함.
-
The Omega Directive 14B:
