r/LocalLLaMA•약 8시간 전•24•34

웹 리서치 및 코딩 에이전트를 위한 소형~중형 모델 목록

List of tiny-to-medium models for web research/coding agents

핵심 요약

일반 컴퓨터에서 고성능 그래픽 카드 없이 구동 가능한 소형 LLM 모델들을 공유하고 추천받는 글입니다.

모델 추천 요청 — 일반 PC에서 에이전트 용도로 활용 가능한 10B 이하 모델을 탐색함
Ornith 1.5 평가 — 35B 모델임에도 적절한 템플릿 사용 시 131k 컨텍스트까지 안정적임
LFM3 1.7B 논의 — 가벼운 모델이지만 코딩 에이전트보다는 일반적인 자동화 작업에 적합하다는 평
모델 성능 비교 — Gemma E4B나 Nemo Bolt E4B 등 특정 모델들이 요약 및 에이전트 작업에서 더 나은 성능을 보임

"일반 컴퓨터"에서 LLM을 돌리고 싶은데, 수천 달러짜리 그래픽 카드 살 돈은 없는 사람들을 위해 에이전트 용도로 쓸만한 모델 리스트를 정리해 봤어.

성능 순으로 나열하면 대충 이래:

Qwen 3.8 27B
Qwen 3.6 35B A3B
Jais 3 7B
Gemma 12B (비전 기능 있어서 넣음)
XHToken/SparkX2.6 4B
FrogNano 4B
Gemma E4B (작으면서 비전 기능까지 있어서 넣음)
Ling 3.0 Tiny 8B A1B

혹시 내가 놓친 괜찮은 소형 모델(10B 미만) 또 있을까? 아니면 이건 진짜 아니다 싶은 거 있으면 알려줘.

이 리스트에서 당장 빼버려야 할 모델도 있을까?

원문

커뮤니티 목록

r/LocalLLaMA•약 8시간 전•24•34

웹 리서치 및 코딩 에이전트를 위한 소형~중형 모델 목록

List of tiny-to-medium models for web research/coding agents

핵심 요약

일반 컴퓨터에서 고성능 그래픽 카드 없이 구동 가능한 소형 LLM 모델들을 공유하고 추천받는 글입니다.

모델 추천 요청 — 일반 PC에서 에이전트 용도로 활용 가능한 10B 이하 모델을 탐색함
Ornith 1.5 평가 — 35B 모델임에도 적절한 템플릿 사용 시 131k 컨텍스트까지 안정적임
LFM3 1.7B 논의 — 가벼운 모델이지만 코딩 에이전트보다는 일반적인 자동화 작업에 적합하다는 평
모델 성능 비교 — Gemma E4B나 Nemo Bolt E4B 등 특정 모델들이 요약 및 에이전트 작업에서 더 나은 성능을 보임

"일반 컴퓨터"에서 LLM을 돌리고 싶은데, 수천 달러짜리 그래픽 카드 살 돈은 없는 사람들을 위해 에이전트 용도로 쓸만한 모델 리스트를 정리해 봤어.

성능 순으로 나열하면 대충 이래:

Qwen 3.8 27B
Qwen 3.6 35B A3B
Jais 3 7B
Gemma 12B (비전 기능 있어서 넣음)
XHToken/SparkX2.6 4B
FrogNano 4B
Gemma E4B (작으면서 비전 기능까지 있어서 넣음)
Ling 3.0 Tiny 8B A1B

혹시 내가 놓친 괜찮은 소형 모델(10B 미만) 또 있을까? 아니면 이건 진짜 아니다 싶은 거 있으면 알려줘.

이 리스트에서 당장 빼버려야 할 모델도 있을까?

주요 댓글

r/localllama

사용자들은 Ornith 1.5의 성능에 만족하면서도, LFM3 1.7B와 같은 새로운 소형 모델들의 코딩 및 에이전트 활용 가능성을 두고 다양한 경험을 공유하고 있습니다.

내가 써본 최고의 LLM은 Ornith 1.5(Qwen 3.6 35b a3b에 몇 가지 조정과 템플릿을 적용한 것)였어. 반복적인 답변을 하거나 루프에 빠지기도 하지만, 전반적으로 매우 견고하고 5060ti 16gb와 32gb ddr4 환경에서 131k 컨텍스트를 편안하게 돌릴 수 있어.

ornith 1.5는 적절한 템플릿을 쓰면 진짜 물건이긴 하지. 루프 문제는 주로 긴 컨텍스트에서 발생해, 아니면 꽤 초반부터 나타나?

중간 정도의 노력 이상을 요구하면 미쳐 날뛰지만, 중간 정도로 유지하면 꽤 잘 작동하고 컨텍스트도 꽉 채우는 데 시간이 좀 걸려. 그리고 실제 출력보다는 자기 생각 안에서 맴도는 루프가 대부분이야.

같은 급의 다른 MOE나 Dense 모델 써본 적 있어? 이 크기와 성능이 내 하드웨어에는 딱인데. 다른 것도 좀 써보고 싶네.

tielcoder 써봤어? 아니면 여전히 ornith가 더 나은 것 같아?

아니, 근데 한번 알아볼게. 더 많은 모델을 써보고 싶거든.

좀 찾아보니까 완벽해 보이네. 지금 다운로드 중이고 좀 써보고 후기 남길게!

tiel coder 추천함. 내 생각엔 ornith 1.5에 새로운 채팅 템플릿을 씌운 버전 같아.

난 그냥 기본값으로 썼는데 괜찮았어. 어떤 템플릿 쓰고 있어? 그걸 쓰면 뭐가 더 좋아?

Nanbeige, LFM3, Spark X2.6, MiniCPM

아직 써보진 않았는데, LFM3/1.7b가 괜찮을 것 같아. 써본 사람 있으면 의견 좀 줘.

써봤는데 장담컨대 Gemma4 E2B가 더 잘해. 게다가 Gemma는 사고 과정을 비활성화할 수 있는데도 요약 작업에서 여전히 잘 작동해. 이탈리아어로도 잘 됐는데, LFM3 1.7B는 거기선 완전히 쓸모없었어.

원문r/LocalLLaMA