LiquidAI/LFM2.5-24B-A2B 모델 공개
LiquidAI/LFM2.5-24B-A2B
핵심 요약
온디바이스 환경에 최적화된 24B 파라미터 추론 모델 LFM2.5-24B-A2B가 공개되었습니다.
- 고효율 추론 — 2B 활성 파라미터로 빠른 속도와 추론 성능을 동시에 확보함
- 온디바이스 최적화 — Apple M5 Max 등에서 뛰어난 토큰 생성 속도를 제공함
- 투명한 공개 — 연구소의 성과와 실패를 모두 공개하는 방식이 긍정적인 평가를 받음
- 다양한 언어 지원 — 한국어를 포함한 16개 언어를 지원하며 추론에 특화됨
huggingface.co
원문 사이트로 이동
Gguf 파일: https://huggingface.co/LiquidAI/LFM2.5-24B-A2B-GGUF
무료 데모: https://playground.liquid.ai
"LFM2.5-24B-A2B는 활성 파라미터가 2B밖에 안 되는 24B 파라미터 추론 모델인데, 온디바이스 환경에서 빠르고 프라이빗하게 돌아가는 에이전트를 위해 만들어졌어. LFM2.5 시리즈 중 가장 크고 마지막 모델이고, LFM2.5-230M부터 LFM2.5-24B-A2B까지 무려 두 자릿수 규모의 라인업을 완성했지.
-
동급 최강 에이전트: 전체 파라미터랑 활성 파라미터가 50%나 더 많은 Qwen3.6-35B-A3B랑 비교해도 에이전트나 도구 사용 작업에서 훨씬 잘해. LiveClaw 점수가 48.09점으로 38.19점인 Qwen보다 압도적임.
-
MoE급 속도로 추론: 대답하기 전에 무조건 생각부터 함. 토큰당 활성 파라미터가 2B밖에 안 돼서 추론 토큰 하나하나가 엄청 저렴해.
-
개쩌는 추론 효율: 온디바이스에서 비슷한 MoE 모델들보다 1.7배나 빠름. Apple M5 Max에서 184 tok/s 나오고, NVIDIA B300 GPU 하나 꽂으면 출력 속도가 무려 21K tok/s까지 찍힘.
LFM2.5-24B-A2B는 범용 텍스트 전용 추론 모델이고 특징은 다음과 같음:
-
전체 파라미터: 24.0B
-
활성 파라미터: 2.45B
-
레이어 수: 40개 (30개 더블 게이트 쇼트 컨볼루션 블록 + 10개 GQA)
-
전문가(Experts): MoE 블록당 64개, top-4 라우팅
-
학습 데이터: 36조 토큰
-
어휘 사전 크기: 128,000
-
컨텍스트 길이: 131,072 토큰
-
지원 언어: 영어, 아랍어, 중국어, 프랑스어, 독일어, 이탈리아어, 일본어, 한국어, 포르투갈어, 스페인어, 베트남어, 태국어, 인도네시아어, 힌디어, 러시아어, 폴란드어
-
생성 파라미터:
-
temperature: 0.1
-
