r/LocalLLaMA•4개월 전•196•86
LiquidAI/LFM2.5-8B-A1B · 허깅페이스
LiquidAI/LFM2.5-8B-A1B · Hugging Face
핵심 요약
온디바이스 환경에 최적화된 고성능 하이브리드 모델 LFM2.5-8B-A1B가 공개되었습니다.
- 온디바이스 최적화 — 기기 내에서 복잡한 지시 사항 수행 및 도구 호출이 가능함.
- 압축된 성능 — 훨씬 큰 규모의 모델과 경쟁할 수 있는 지시 이행 및 에이전트 작업 능력을 갖춤.
- 압도적 처리량 — CPU와 GPU 모두에서 동급 모델 중 가장 빠른 추론 속도를 제공함.
- 폭넓은 지원 — llama.cpp, MLX, vLLM, SGLang 등 주요 프레임워크를 즉시 지원함.
huggingface.co
원문 사이트로 이동
감자(저사양 기기)에서도 돌릴 수 있을 것 같네요(A1B)!
https://huggingface.co/LiquidAI/LFM2.5-8B-A1B-GGUF
LiquidAI의 설명:
LFM2.5는 온디바이스 배포를 위해 설계된 새로운 하이브리드 모델 제품군입니다. LFM2 아키텍처를 기반으로 확장된 사전 학습과 강화 학습을 적용했습니다.
- 온디바이스 개인 비서: 실제 애플리케이션 구동, 도구 호출 체이닝, 모든 기기에서의 복잡한 지시 사항 이행을 위해 설계됨.
- 압축된 성능: 지시 이행 및 에이전트 작업에서 훨씬 더 큰 밀집형(dense) 모델 및 MoE 모델과 경쟁 가능함.
- 압도적 처리량: CPU 및 GPU 추론 모두에서 동급 모델 중 가장 빠르며, llama.cpp, MLX, vLLM, SGLang을 즉시 지원함.
LFM2.5-8B-A1B에 대한 자세한 정보는 블로그 포스트에서 확인할 수 있습니다.
