r/LocalLLaMA•29일 전•25•35

Kimi k3 IQ2_XXS를 대체할 GLM 5.3, GLM 5.3 Flash 또는 Qwen 3.8 Flash 추천 부탁

GLM 5.3, GLM 5.3 Flash or 3.8 Qwen Flash for Replacing Kimi k3 IQ2_XXS

핵심 요약

Kimi k3의 느린 속도를 개선하기 위해 GLM 5.3 시리즈와 Qwen 3.8 Flash 모델 간의 성능과 속도 차이를 비교하고 있습니다.

모델 성능 비교 — GLM 5.3은 창의성과 지능이 뛰어나지만 느리고, Qwen 3.8 Flash는 가장 빠르지만 지능이 다소 낮음
PLE 오프로딩 — SSD를 활용한 PLE 오프로딩 기술이 로컬 모델 실행 속도와 효율성을 획기적으로 개선함
하드웨어 요구사항 — Qwen 3.8 Flash-Next 등을 원활히 구동하려면 96GB 이상의 충분한 RAM과 VRAM 확보가 필수적임
멀티모달 활용 — 사용자는 Flash 모델들의 멀티모달 기능에 관심을 보이며 속도와 지능 사이의 균형을 고민함

Kimi는 IQ2_xxs에서 괜찮아 보이긴 하는데 4tks 정도라 좀 느리고(그럭저럭 봐줄 만함), 가끔 2tks까지 떨어지면(음, 이건 좀 별로임) 실사용하기엔 좀 애매하네. 새로 나온 GLM이나 Qwen Flash 같은 애들이 괜찮은 대체재가 될까? 특히 높은 지능을 유지하면서도 더 쾌적한 상호작용 경험을 원하는데 말이야.

원문

커뮤니티 목록

r/LocalLLaMA•29일 전•25•35

Kimi k3 IQ2_XXS를 대체할 GLM 5.3, GLM 5.3 Flash 또는 Qwen 3.8 Flash 추천 부탁

GLM 5.3, GLM 5.3 Flash or 3.8 Qwen Flash for Replacing Kimi k3 IQ2_XXS

핵심 요약

Kimi k3의 느린 속도를 개선하기 위해 GLM 5.3 시리즈와 Qwen 3.8 Flash 모델 간의 성능과 속도 차이를 비교하고 있습니다.

모델 성능 비교 — GLM 5.3은 창의성과 지능이 뛰어나지만 느리고, Qwen 3.8 Flash는 가장 빠르지만 지능이 다소 낮음
PLE 오프로딩 — SSD를 활용한 PLE 오프로딩 기술이 로컬 모델 실행 속도와 효율성을 획기적으로 개선함
하드웨어 요구사항 — Qwen 3.8 Flash-Next 등을 원활히 구동하려면 96GB 이상의 충분한 RAM과 VRAM 확보가 필수적임
멀티모달 활용 — 사용자는 Flash 모델들의 멀티모달 기능에 관심을 보이며 속도와 지능 사이의 균형을 고민함

주요 댓글

r/localllama

사용자들은 속도와 지능 사이의 균형을 위해 GLM 5.3 시리즈와 Qwen 3.8 Flash를 비교하며, 특히 PLE 오프로딩 기술을 활용한 성능 최적화에 큰 관심을 보이고 있습니다.

128GB나 96GB RAM이 있다면, PLE를 디스크로 오프로드한 BF16 버전의 Qwen3.8-Flash-Next가 엄청나게 좋음. Qwen3.8-27B만큼 작업 수행이 집요하진 않지만 훨씬 빠르고 지식도 풍부함.

이 모델에 완전히 감탄했음. Unsloth에서 UD Q4 K XL을 가져온 다음, BF16 Unsloth 레포에서 샤드 3(PLE 텐서)와 샤드 1(메타데이터)을 가져왔음. 그 후 Codex로 UD Q4 K XL의 IQ4NL PLE 텐서를 BF16 버전으로 교체해서 SSD로 오프로드했지. 96GB DDR5와 5080 환경에서 디코드 시 15-20 t/s, 프리필 시 100-300 t/s 정도로 돌릴 수 있음(Codex로 프리필 속도를 높이려고 ngram 모드 매직을 써서 가끔 29 t/s까지 찍는 걸 테스트 중임…

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

완전 동의함. 아직 초기 단계지만 PLE 오프로딩은 진짜 게임 체인저임. 벤치마크를 돌려봤는데 크기 대비 품질이 미쳤음. OMLX 업로드 사이트가 500 에러를 뱉어서 그렇지 아니었으면 벤치마크 예시를 올렸을 거임. 더 이상 '로컬 모델치고 좋다' 수준이 아님. 그냥 아주, 아주 좋음. 끝. M4 Max에서 로컬로 돌려도 27TPS에 400+ 프리필로 충분히 빠름. 물론 프론티어 모델이 더 낫긴 하지만, 이건… 오프라인 로컬 환경에서 믿기 힘들 정도로 좋음.

젠장, 고맙다. Ngram 레이어를 그냥 교체할 수 있다는 걸 몰랐네. 저장 공간이 부족하니까 Q8 NGram을 다운로드해야겠어.

128GB나 96GB RAM이 있다면, Qwen3.8-Flash-Next

이 모델은 정말 좋음, 특히 질문자님 상황에는 더더욱. 4 tks 정도면 작업이 가능하다는 뜻이니 에이전트 용도는 아닌 것 같네. 하지만 Stix Halo에서도 어떤 작업은 며칠씩 걸리고(진짜로), PP는 빈 컨텍스트에서 200 t/s 정도 나오다가 20k 컨텍스트가 되면 금방 130 t/s로 떨어짐. 이걸 돌리려면 진짜 96GB의 실제 VRAM이 필요함.

꽤 흥미로운 트레이드오프네. 속도 차이만으로도 Flash Next가 일상적인 로컬 용도로는 더 실용적일 수 있겠어. 특히 메모리 한계와 계속 싸우지 않아도 될 만큼 충분한 RAM이 있다면 말이지. 작업 지속성에서 조금 손해를 보더라도 속도와 더 넓은 지식을 얻는 건 많은 경우에 가치 있는 거래라고 봄.

"128GB나 96GB 램이 있다면 말이지."

글쓴이는 K3 돌리고 있잖아. 27b나 6b 액티브 모델보다는 좀 더 나은 거 돌릴 수 있을 텐데.

27b보다 빠르다는 건 못 봤는데. 3.8 next q5는 halo strix에서 입력 토큰당 약 220tps, 출력은 18-20tps 정도 나옴. 3.8 27b q5에 MTP를 쓰면 입력 400tps, 출력 14-18tps 정도임. Qwen next에 MTP가 작동하게 만들면 토큰 생성은 훨씬 나아지겠지만, 프롬프트 처리 속도는 여전히 훨씬 느릴 듯.

GLM 5.3이 셋 중 가장 똑똑하고 창의적이겠지만, 가장 느릴 거야. GLM 5.3 flash는 속도와 지능 사이에서 좋은 중간 지점이고. Qwen 3.8 flash는 셋 중 가장 빠르지만 지능은 제일 낮음. https://llm-stats.com/models/compare/glm-5.3-flash-vs-qwen3.8-flash-next 인터랙티브 경험이 무슨 뜻인지 모르겠는데, 창의적인 글쓰기나 대화를 말하는 거라면 무조건 GLM 5.3임. 이 모델은 창의성으로 유명하니까.

Flash 모델들이 멀티모달인 게 마음에 들어.

DeepSeek v4 flash는 고려해 봤어? DeepSeek v4 flash가 GLM 5.3 flash보다 빠르긴 할 텐데, 프론트엔드 디자인에는 GLM 5.3이 훨씬 나음. 그러니까 작업 내용과 속도 필요성에 따라 다르겠지. GLM 5.3 flash 원본 가중치가 Kimi IQ2_XXS보다 성능이 좋을 수도 있어.

내가 알기로는 환각(hallucination)이 너무 심하다던데.

-2

Kimi K3를 돌릴 수 있었다면 GLM 5.3도 6비트 양자화로 쉽게 돌아갈 거야. 멀티모달(최소한 이미지 읽기)이 꼭 필요한 게 아니라면 말이지. 만약 필요하다면 GLM 5.3 Flash로 갈 수 있는데, 전체적인 '지능'은 더 낮을 거야. 근데 Kimi K3에서 그렇게 속도가 안 나왔다면 어차피 Flash 모델을 원하게 될걸.

원문r/LocalLLaMA