LFM2.5-24-A2B 써봤는데 쓰레기임. 확실함. 땅콩 껍질도 제대로 못 깔 것 같음
Tried LFM2.5-24-A2B. It's crap. Yes. I double confirm it. I wouldn't trust it peeling a peanut correctly
핵심 요약
LFM2.5-24-A2B 모델의 성능이 기대 이하라는 사용자들의 혹평이 이어지고 있습니다.
- 성능 실망 — 웹 개발 및 알고리즘 작업에서 타 모델 대비 현저히 낮은 성공률을 보임
- 구조적 한계 — 속도 최적화에 치중한 선형 연산자 설계로 인해 추론 능력 부족
- 사용자 경험 — 잦은 루프 현상과 코드 오류로 인해 실사용이 불가능한 수준임
- 대안 탐색 — Qwen 시리즈 등 타 모델이 벤치마크에서 훨씬 우수한 성능을 입증함
어제 내가 다들 환호하는 이 쓰레기 같은 모델에 대해 너무 단순하게 글을 썼나 봐. (아마 봇들이겠지, 걔네가 이걸로 뭘 제대로 해내긴 했는지 궁금하네.)
링크 https://www.reddit.com/r/LocalLLaMA/comments/1xb9hrb/tried_lfm2524a2b_its_crap/
주된 비판이 내가 설정값 같은 걸 하나도 안 올렸다는 거더라고.
자, 여기 있다.
특정 아키텍처에 최적화된 llama.cpp 버전인 llamaampere에서 돌려봤는데, Qwen 3.8 27b Q4 Small 모델을 40-60 tk/s라는 (내 기준) 꽤 높은 속도로 돌릴 수 있었고 결과도 나름 만족스러웠어.
근데 이건 잘못된 선택이었음. 계속 똑같은 말을 반복하고 제일 쉬운 것도 제대로 못 해서 자꾸 꼬이더라고.
그래도 RTX A4500 카드에서 130tk/s 찍었으니 나름 성과는 있었지 ㅋㅋ
그다음엔 바로 LM studio로 넘어갔어. 속도는 좀 포기하더라도 어떻게 돌아가는지나 보자 싶었지.
그러니까 이상한 짓 하는 게 좀 잡히더라. 대화 좀 해봤는데 나름 그럴듯하게 대답했어.
자, 설정값이다. 내 글 망치지 말고 이거 그대로 따라 해라:
LMSTUDIO-> 모든 엔진 및 프레임워크 2026년 10월 22일 기준으로 업데이트 완료, 최신 버전 전부 초록색 체크 확인.
모델:
그러고 나서 보니까 이 모델이 openclaw나 hermes 같은 에이전트 하네스(agentic harnesses)로 엄청나게 학습됐고, 그걸 자랑스럽게 내세우더라고. 그래서 hermes desktop 설치하고 hermes랑 연결했지.
또 템플릿 수정하라고 소리 지를 놈들 있을 거 같아서 미리 준비했다.
https://huggingface.co/peculiar-ragdoll/Sharp-LFM2.5-Chat-Templates/raw/main/chat_template.jinja
템플릿 수정용으로 이거 쓰고 있어.
hermes desktop에서 마이크로소프트의 redis 클론인 garnet을 사용하는 간단한 플러그인을 만들어달라고 시켜봤어.
