r/LocalLLaMA•약 1개월 전•114•94논쟁
저평가된 Muse Glimmer
Underrated Muse Glimmer
핵심 요약
Muse Glimmer 모델이 Qwen 3.8 모델보다 효율적인 KV 캐시와 빠른 처리 속도로 RAG 작업에서 더 뛰어난 성능을 보인다는 분석입니다.
- 모델 성능 비교 — Muse Glimmer가 Qwen 3.8 대비 RAG 작업에서 더 빠르고 정확한 지시 이행을 보여줌
- 효율적 KV 캐시 — 슬라이딩 윈도우 방식을 통해 적은 VRAM으로도 대규모 컨텍스트 윈도우 확보 가능
- 사용자 경험 — Qwen은 코딩에 특화된 반면 Muse는 개인 비서 용도로 더 적합하다는 평가
- 향후 벤치마크 — Qwen 3.6 및 Gemma 모델 등 다양한 모델과의 추가 비교 실험이 기대됨
qwen3.8 xhigh, medium이랑 muse glimmer 벤치마크 돌려봤다.
qwen3.8 xhigh 모드로 돌리니까 거의 30시간 걸리더라. (심지어 32K 출력 토큰 제한 때문에 16개 케이스는 실패함)
medium 모드랑 muse glimmer는 각각 3~4시간 정도 걸렸고.
근데 muse glimmer 결과 보고 진짜 놀랐다. qwen보다 더 잘 나오네.
이 벤치마크들이 모델의 암묵적 지식(implicit knowledge)을 테스트하는 거라 작은 모델들한테는 좀 불리하긴 한데, RAG 붙이면 분명 최상위 모델들이랑 비빌 수 있을 듯.
claude 모델 결과는 ecro의 embedeval 저장소에서 그대로 가져왔다.
qwen 깎아내리려는 건 아니다. 나도 qwen이 사고하는 방식이나 결과물 퀄리티는 좋아함. 컨텍스트 더 넣고 RAG 붙이면 qwen이 훨씬 잘할 거라는 것도 알고.
그냥 muse가 저평가된 것 같아서 좀 띄워주는 거임. 슬라이딩 윈도우 덕분에 KV 캐시 효율이 좋아서 컨텍스트 윈도우를 더 길게 쓸 수 있다는 게 장점이다.
