r/LocalLLaMA•2개월 전•57•19

Kimi Linear 48B A3B 모델 어떤가요?

Kimi Linear 48B A3B?

핵심 요약

Kimi Linear 48B 모델의 성능과 활용 가능성에 대해 사용자들이 경험을 공유하고 논의하는 글입니다.

모델 성능 — 긴 문맥 처리 능력은 뛰어나지만 지능이나 답변의 깊이는 다소 아쉬움
실험적 성격 — 정식 출시 제품이라기보다 긴 문맥 모델의 가능성을 보여주는 실험적 모델
하드웨어 최적화 — 16GB VRAM 환경에서 효율적인 모델 사이즈와 추론 속도에 대한 갈증
후속 모델 기대 — 더 강력한 학습과 추론 능력을 갖춘 후속작에 대한 사용자들의 요구

이 모델이 존재한다는 걸 방금 알게 됐는데, 48B 파라미터에 1M 컨텍스트 MOE라니 딱 내가 찾던 거 같음. Qwen 3.6 35B랑 비교해도 꽤나 빠르게 돌아가고.

테스트를 좀 해보니 결과물이 나쁘지는 않은데, 항상 질문에 대해 답변으로 제시할 수 있는 최소한의 출력만 내놓으려고 함.

첫 번째 이미지는 기본 밈 프롬프트로 생성한 거고, 두 번째는 '상세하게(detail)'라고 답한 후의 결과임.

프론트엔드 결과물도 나쁘지 않음. 잘 구조화된 애니메이션 페이지를 꽤 잘 생성하는 것 같음.

그런데 뭔가 뇌가 좀 이상한 느낌이 듦.

파인튜닝이 가능할지, 그리고 나사를 좀 조여줄 수 있을지 궁금함. 혹시 이거 가지고 이것저것 만져본 사람 있음?

원문

커뮤니티 목록

r/LocalLLaMA•2개월 전•57•19

Kimi Linear 48B A3B 모델 어떤가요?

Kimi Linear 48B A3B?

핵심 요약

Kimi Linear 48B 모델의 성능과 활용 가능성에 대해 사용자들이 경험을 공유하고 논의하는 글입니다.

모델 성능 — 긴 문맥 처리 능력은 뛰어나지만 지능이나 답변의 깊이는 다소 아쉬움
실험적 성격 — 정식 출시 제품이라기보다 긴 문맥 모델의 가능성을 보여주는 실험적 모델
하드웨어 최적화 — 16GB VRAM 환경에서 효율적인 모델 사이즈와 추론 속도에 대한 갈증
후속 모델 기대 — 더 강력한 학습과 추론 능력을 갖춘 후속작에 대한 사용자들의 요구

이 모델이 존재한다는 걸 방금 알게 됐는데, 48B 파라미터에 1M 컨텍스트 MOE라니 딱 내가 찾던 거 같음. Qwen 3.6 35B랑 비교해도 꽤나 빠르게 돌아가고.

테스트를 좀 해보니 결과물이 나쁘지는 않은데, 항상 질문에 대해 답변으로 제시할 수 있는 최소한의 출력만 내놓으려고 함.

첫 번째 이미지는 기본 밈 프롬프트로 생성한 거고, 두 번째는 '상세하게(detail)'라고 답한 후의 결과임.

프론트엔드 결과물도 나쁘지 않음. 잘 구조화된 애니메이션 페이지를 꽤 잘 생성하는 것 같음.

그런데 뭔가 뇌가 좀 이상한 느낌이 듦.

파인튜닝이 가능할지, 그리고 나사를 좀 조여줄 수 있을지 궁금함. 혹시 이거 가지고 이것저것 만져본 사람 있음?

주요 댓글

r/localllama

사용자들은 Kimi Linear 48B의 긴 문맥 처리 능력과 효율성에 주목하면서도, 지능적인 한계와 실험적 모델로서의 불완전함에 대해 아쉬움을 표하며 후속 모델을 기대하고 있습니다.

Kimi가 이 모델의 후속작이나 100~200B 범위의 MoE 모델을 출시해 준다면 정말 좋을 것 같음.

맞음. 출시되길 바랄 뿐임! 100B 범위의 Laguna s 2.1이 나왔으니, 100B MoE 모델들이 새로운 트렌드가 될지도 모르겠네 :)

실험적인 모델이었고 학습 토큰도 많지 않아서 그런 동작을 보였을 가능성이 큼. K3에 있는 AttnRes도 사용하지 않았고. AttnRes를 제대로 적용해서 학습한 후속작이 나오면 좋겠음!

Kimi Linear는 완성된 제품이라기보다는 긴 문맥 모델이 나아갈 방향을 살짝 보여준 느낌임. 몇 달이 지난 지금도 사람들이 언급한다는 건 그 아키텍처가 매력적이었다는 증거겠지. Moonshot이 더 강력한 사후 학습과 추론 능력을 갖춘 후속작을 내놓는다면, 또 다른 점진적 개선형 dense 모델들보다 훨씬 더 주목받을 거라고 생각함.

모델 크기 면에서 엄청난 공백이 있기도 함. 35B에서 바로 120B~200B로 넘어가 버려서 그 사이에 현대적인 모델이 하나도 없음.

48~55B 범위의 모델이 있으면 16GB VRAM + 32GB RAM 환경에서 돌리기 정말 좋을 텐데.

old contextarena에 Kimi Linear 벤치마크가 있었음. (이유는 모르겠지만) 삭제되기 전까지는 다른 비슷한 크기의 오픈 모델들보다 긴 문맥에서 훨씬 더 높은 품질을 유지했었음. 그런데 막상 llama.cpp에 지원이 추가되었을 때는 주관적으로 비슷한 크기의 모델들보다 성능이 떨어졌음. 구현상의 문제였을 수도 있는데, 그 이후로 업데이트를 확인 안 해서 잘 모르겠네.

인스트럭트 전용인 실험적 모델이었음. 학습에 데이터도 그렇게 많이 쓰이지 않았고.

기억하기로는 Cerebras가 이 모델을 35ba3b로 줄이는 멋진 REAP을 했던 것 같은데, 당시엔 꽤 괜찮다고 생각했음.

(꽤 제한적인) 내 테스트에서는 충분히 쓸만했지만 지능이 가장 큰 장점은 아니었음. 그래도 다른 작은 활성화 MoE 모델들과 비교하면 나쁘지 않았고.

더 정교한 워크플로우를 사용하면 더 좋은 결과가 나올지도 모르겠지만, 지금 당장은 Gemma 3 MoE가 크기는 절반인데 성능은 비슷하다고 봄.

듀얼 3090에서 긴 문맥을 쓰기엔 꽤 괜찮아서 후속 버전이 나오면 무조건 환영임.

그럴 바엔 Qwen 27B 4비트 모델에 Bonsai binary 27B를 전통적인 specdec으로 사용하는 게 나음. 메모리 사용량은 비슷하거나 더 적으면서 성능은 더 좋으니까.

Bonsai 27B가 Qwen 3.6 35B한테 완전히 밀리는 느낌이라서. 16GB VRAM에서 Qwen 27B 4비트를 제대로 돌릴 수가 없음.

현재 Qwen 3.6 35B A3B IQ4_N_XL을 KV 캐시 Q8_0으로 돌리고 있는데:

1 스트림 256K 문맥: 35 tk/s
2 스트림 각각 200K 문맥: 각각 30+20 tk/s
3 스트림 각각 200K 문맥: 15 tk/s

원문r/LocalLLaMA

지금 같이 볼 만한 글

r/LocalLLaMA•약 8시간 전

드디어 내 하드웨어로 풀 정밀도 구동이 가능한 모델을 찾았다: 바로 나

사용자가 자신의 타이핑 속도를 측정해 LLM의 토큰 생성 속도(t/s)와 비교하는 웹 도구를 만들어 공유했습니다.

Finally found a model my hardware can run at full precision: me

사용자가 자신의 타이핑 속도를 측정해 LLM의 토큰 생성 속도(t/s)와 비교하는 웹 도구를 만들어 공유했습니다.

829102

Reddit 원문

r/Anthropic•약 12시간 전

엄청난 반등이네

사용자들은 Claude Opus 5.5 모델이 이전 버전인 Opus 5의 단점을 완벽히 개선하며 뛰어난 성능을 보여준다고 평가합니다.

35253

Reddit 원문

r/ClaudeAI & r/ClaudeCode•1일 전

Claude Code를 활용해 일상이나 업무의 골칫거리를 해결해 준 나만의 도구가 있나요?

Claude Code로 일상 업무 자동화 도구를 직접 개발해 생산성을 높이고 삶의 질을 개선한 사용자들의 경험 공유.

973472논쟁

Reddit 원문

커뮤니티 전체 보기

원문

주요 댓글

r/localllama

Kimi가 이 모델의 후속작이나 100~200B 범위의 MoE 모델을 출시해 준다면 정말 좋을 것 같음.

맞음. 출시되길 바랄 뿐임! 100B 범위의 Laguna s 2.1이 나왔으니, 100B MoE 모델들이 새로운 트렌드가 될지도 모르겠네 :)

모델 크기 면에서 엄청난 공백이 있기도 함. 35B에서 바로 120B~200B로 넘어가 버려서 그 사이에 현대적인 모델이 하나도 없음.

48~55B 범위의 모델이 있으면 16GB VRAM + 32GB RAM 환경에서 돌리기 정말 좋을 텐데.

인스트럭트 전용인 실험적 모델이었음. 학습에 데이터도 그렇게 많이 쓰이지 않았고.

기억하기로는 Cerebras가 이 모델을 35ba3b로 줄이는 멋진 REAP을 했던 것 같은데, 당시엔 꽤 괜찮다고 생각했음.

(꽤 제한적인) 내 테스트에서는 충분히 쓸만했지만 지능이 가장 큰 장점은 아니었음. 그래도 다른 작은 활성화 MoE 모델들과 비교하면 나쁘지 않았고.

더 정교한 워크플로우를 사용하면 더 좋은 결과가 나올지도 모르겠지만, 지금 당장은 Gemma 3 MoE가 크기는 절반인데 성능은 비슷하다고 봄.

듀얼 3090에서 긴 문맥을 쓰기엔 꽤 괜찮아서 후속 버전이 나오면 무조건 환영임.

그럴 바엔 Qwen 27B 4비트 모델에 Bonsai binary 27B를 전통적인 specdec으로 사용하는 게 나음. 메모리 사용량은 비슷하거나 더 적으면서 성능은 더 좋으니까.

Bonsai 27B가 Qwen 3.6 35B한테 완전히 밀리는 느낌이라서. 16GB VRAM에서 Qwen 27B 4비트를 제대로 돌릴 수가 없음.

현재 Qwen 3.6 35B A3B IQ4_N_XL을 KV 캐시 Q8_0으로 돌리고 있는데:

1 스트림 256K 문맥: 35 tk/s
2 스트림 각각 200K 문맥: 각각 30+20 tk/s
3 스트림 각각 200K 문맥: 15 tk/s

원문r/LocalLLaMA