LFM2.5-2.6B is out
에이전트 기능에 특화된 소형 언어 모델 LFM2.5-2.6B가 출시되어 커뮤니티의 관심을 받고 있습니다.
오늘 출시되었으며, 에이전트 기능에 중점을 두었습니다. 저는 단순하고 대량의 작업('이 수많은 문서를 요약해 줘')을 처리하는 이들의 모델을 정말 좋아합니다. 특히 8b-a1b 모델은 특정 작업에서 제 주력 모델이었기에 이번 모델의 성능이 기대됩니다. 이 서브레딧에서는 소형 모델에 대한 관심이 부족한 것 같네요.
사용자들은 LFM 2.5-2.6B의 뛰어난 효율성과 에이전트 작업 수행 능력에 주목하며, 특히 로컬 환경에서의 활용 가능성을 긍정적으로 평가하고 있습니다.
GGUF 버전을 기다리는 분들을 위해...
Liquid는 항상 GGUF를 만들어 줌. 이 크기에서는 llama.cpp가 왕이라는 걸 아주 잘 알고 있거든.
8_0에 3GB라고? 환각 생성기만 아니면 진짜 개꿀인데.
개인적으로 LiquidAI는 동급 모델 중 거의 최고라고 생각함. 아주 좋은 소식이야.
방금 다운로드했는데, Q8이 6GB VRAM을 쓰고 제 3090에서 200 T/s로 돌아가네요. 기본적인 건 진짜 잘 이해합니다. Siri 같은 걸로 만들면 대박일 듯. 온디바이스 배포라는 말이 무슨 뜻인지 알겠네요. 예를 들어 방금 git 커밋 메시지 작성하게 시켰는데 눈 깜짝할 사이에 끝났음 ㅋㅋ 이거 진짜 물건이고 틈새시장을 제대로 파고드네요.
폰에서도 꽤 괜찮은 속도로 돌릴 수 있을 것 같은데. 이제 한번 살펴볼 만한 가치가 있겠어.
진짜 맞는 말이네, 솔직히 미쳤다. 예전에 그런 거 해주는 앱 썼었는데 이름 까먹었네. 다시 다운로드해야겠다!
이런 모델은 보통 어디에 쓰나요? 특히 에이전트 기능과 관련해서요.
방금 10분 정도 써봤는데, "아, 그 스크립트 어디 뒀더라? x나 y에 있었던 거 같은데 좀 찾아줄래?"라거나 "파이썬에서 x 기능 하는 함수가 뭐였지?", "이거 좀 다시 써줄래?" 같은 작업에 진짜 최고임. 더 큰 모델을 굳이 내릴 필요도 없고 말이야!
어떤 도구들을 쥐여주고 있음?
Pi에 있는 것들이지! 읽기, 쓰기, bash, 그리고 편집
소형 모델용 에이전트 하네스를 만들고 있는데, 오늘 중으로 로컬 벤치마크 결과 알려줄게. 기본적으로 내가 써본 것 중 지시사항을 알아듣고 그대로 따르는 가장 작은 모델이야. LFM 1.2B는 내 컴퓨터에서 500t/s 정도 나오길래, 그걸로 테스트랑 반복 작업을 엄청나게 돌리고 있어.
오 좋네. 난 Gemma4-31B로 오케스트레이터 설정을 해뒀는데, 서브 에이전트 하나가 웹에서 정보를 가져와서 후속 작업을 위해 가공하거든. 만약 이 모델이 그 정도를 처리할 수 있다면 아주 괜찮겠어.
오케이, 로컬 벤치마크 결과 나왔어 -- 수치 진짜 잘 나옴.
[이미지]
이 수치들이 100% 정확한 건 아니야. 왜냐면 며칠 사이에 툴링을 좀 개선했거든(그래봤자 며칠치 작업이지만). 그리고 "full sir"는 그냥 내 오케스트레이션 수치인데... 당연히 더 손봐야지. 어쨌든 LFM에 툴을 쥐여주면 훨씬 큰 모델들이랑도 경쟁이 되는 것 같아. 즉, 오케스트레이션만 잘하면...
저도 같은 질문인데, 어떻게 사용하시나요?
사용자가 자신의 타이핑 속도를 측정해 LLM의 토큰 생성 속도(t/s)와 비교하는 웹 도구를 만들어 공유했습니다.
사용자가 자신의 타이핑 속도를 측정해 LLM의 토큰 생성 속도(t/s)와 비교하는 웹 도구를 만들어 공유했습니다.
AI 모델 Luna가 '강아지 살해'라는 윤리적 테스트에서 추론 과정 없이 도구를 즉각 실행해버린 현상을 다룬 글.
AI 모델 Luna가 '강아지 살해'라는 윤리적 테스트에서 추론 과정 없이 도구를 즉각 실행해버린 현상을 다룬 글.
