r/LocalLLaMA•4개월 전•136•34

2026년 중반의 로컬 모델

Local models in mid-2026

핵심 요약

RAM 증설 없이도 로컬 구동이 가능해진 최신 모델 최적화 기술들을 다룹니다.

로컬 구동 기술 — 희소 어텐션, MoE, KV 압축 등으로 효율성 극대화함
모델 최적화 — 다중 토큰 예측 및 4비트 양자화로 하드웨어 요구사항 완화함
Gemma 4 12B — 24GB VRAM에서 Q8로 구동 가능한 고성능 모델로 평가됨
하드웨어 고민 — 3090 중고 PC 빌드와 차세대 Mac Studio 출시 대기 사이의 선택지 논의함

coles.codes

원문 사이트로 이동

올해 들어 오픈 웨이트 모델들이 집에서 돌릴 수 있을 만큼 충분히 가까워졌습니다. RAM을 더 늘려서가 아니라 오히려 그 반대 덕분이죠: 희소 어텐션(sparse attention), MoE, 잠재 KV 압축(latent KV compression), 다중 토큰 예측(multi-token prediction) 그리고 4비트 양자화(four-bit quant) 덕분입니다.

원문

커뮤니티 목록

r/LocalLLaMA•4개월 전•136•34

2026년 중반의 로컬 모델

Local models in mid-2026

핵심 요약

RAM 증설 없이도 로컬 구동이 가능해진 최신 모델 최적화 기술들을 다룹니다.

로컬 구동 기술 — 희소 어텐션, MoE, KV 압축 등으로 효율성 극대화함
모델 최적화 — 다중 토큰 예측 및 4비트 양자화로 하드웨어 요구사항 완화함
Gemma 4 12B — 24GB VRAM에서 Q8로 구동 가능한 고성능 모델로 평가됨
하드웨어 고민 — 3090 중고 PC 빌드와 차세대 Mac Studio 출시 대기 사이의 선택지 논의함

coles.codes

원문 사이트로 이동

주요 댓글

r/localllama

로컬 모델 사용자들이 사용하는 툴을 공유하고, 3.5 기반 파인튜닝 모델의 출처와 성능에 대해 의견을 나누고 있습니다.

로컬에서 돌릴 수 있는 MoE 모델들이 드디어 쓸만해졌네요.

그리고 제 생각엔 덴스 모델 쪽에서는 Gemma 4 12B가 좀 저평가된 것 같아요. 24GB 카드 한 장에서 Q8로 긴 컨텍스트를 돌릴 수 있거든요. 전반적으로 성능이 좋을 뿐만 아니라, 덴스 모델이라 복잡한 형태론을 가진 언어(예: 우크라이나어)에서도 성능이 잘 나옵니다.

방금 테스트해 봤는데, Q4 QAT 모델 진짜 지리네. 165tk/s로 돌릴 수 있는 모델치고는 엄청 인상적임. 웹 크롤링이나 텍스트 요약 같은 간단한 작업용으로 기본 모델 삼을 듯.

이쪽 분야는 완전 뉴비인데, 웹 크롤링은 어디에 쓰는 거임? 학습용 데이터나 트레이딩 봇용 금융 데이터 수집 같은 거임? 아니면 무거운 모델 쓰기 전에 정보 수집용으로 가벼운 모델 돌리는 거임? (무거운 모델로 웹사이트 10개씩 뒤지면서 시간/돈 낭비하기 싫으니까)

온라인에서 특정 주제에 대해 조사하는 것(예: 도시 반경 내 상위 6개 관광 명소 찾기)부터, 며칠 전 내가 했던 것처럼 미국 상위 10개 종자 제조사가 판매하는 모든 작물 품종을 크롤링하고 집계하고 통합하는 데 1,800만 토큰을 쓰는 것까지 다양해(궁금할까 봐 말하는데 약 4,900개의 서로 다른 식물 품종이었어).

그리고 그 4,900개가 시장을 독점해서 사람들이 예전에 쓰던 수십, 수백 가지의 품종을 고작 몇 개로 줄여버렸다고 생각하니.

아니, 슈퍼마켓 진열대에서는 대체되었을지 몰라도 기관들이 보존하고 있는 수천 가지의 토종 품종은 여전히 존재하고 온라인에서 쉽게 구할 수 있어.
코넬 대학교 식물학과가 이 분야에서 아주 훌륭한 일을 하고 있지.

나는 스페인 갈리시아 지방의 토종 품종인 Avoa de Osedo를 많이 키우는데, 이게 끝내주는 비프스테이크 토마토거든. 맛도 엄청나고 습한 기후에서 유용한 곰팡이 감염에도 자연적으로 꽤 강한 편이야…

어떤 툴 쓰심?

주로 searxng랑 crawl4ai 쓰고, 최후의 수단으로 camofox 씀

Gemma 4 12B 진짜 괜찮더라고요. CI/CD 코드 리뷰용으로 Github Actions 러너에서 돌리고 있어요(https://mattjcoles.github.io/lgtmaybe/how-to/use-as-github-action/). 스캔하는 항목의 24% 정도만 잡아내긴 하지만, 아주 작은 모델인 걸 감안하면 인상적이에요!

qwen3.6 9b 정도면 더 많이 가져다 쓸 것 같은데

3.6 9b 모델이 있어?

그랬으면 좋겠네

3.5*

사실 있긴 한데, 다른 이름으로 불려서 다들 모르는 거임. copaw / qwenpaw라고 함.

근데 이거 그냥 3.5 파인튜닝 아님? 지금 난 Jackrong/Qwen3.5-9B-DeepSeek-V4-Flash-MTP-GGUF · Hugging Face 쓰는 중. 내 사용 사례에서 추론이랑 RAG 더 잘 되는지 한번 확인해봐야겠네.

3.6도 3.5 파인튜닝임. 적어도 이건 Qwen 소유주인 알리바바 팀이 만든 거라, 9B 모델을 대화 로그 천 개 돌려서 DeepSeek으로 만들 수 있다는 헛된 망상에 빠진 일반인이 만든 거랑은 다름.

원문r/LocalLLaMA