r/LocalLLaMA•약 2개월 전•114•134
LFM 2.6B 진짜 재밌네.
LFM 2.6B is a lot of fun.
핵심 요약
LFM 2.6B 모델의 놀라운 속도와 효율성, 그리고 실용적인 활용 사례에 대한 사용자들의 긍정적인 평가.
- 모델 성능 — 2.6B 크기 대비 뛰어난 벤치마크 결과와 추론 능력
- 압도적 속도 — 3090 GPU에서 초당 수백 토큰을 처리하는 빠른 추론
- 실용적 활용 — 요약, 리눅스 명령어 검색, 도구 호출 등 가벼운 작업에 최적
- 모바일 잠재력 — 온디바이스 AI로서 스마트폰에서 구동 가능한 효율성
내 3090에서 260T/s tg랑 20k pp 속도가 나오네 ㅋㅋ 이 모델은 작아서 원래 폰에서 돌리려고 만든 거라 그런 듯.
써본 바로는 "이 긴 글 읽고 x가 언급됐는지 알려줘"라거나 "이 멍청한 과학 기사 요약 좀", "리눅스에서 y 하는 명령어 뭐였지" 같은 아주 빠른 작업이나, 구조가 비슷한데 타이핑하기 귀찮은 거 자동 완성(예: 백슬래시가 포함된 긴 명령어를 붙여넣고 제거하고 싶을 때)에 놀라울 정도로 좋음. 물론 중요한 작업에는 다른 걸 써야겠지만, 구글의 AI 개요(진짜 구림 ㅋㅋ)랑 비슷한 용도로는 최고임. 데이터 엄청나게 때려 넣어도 되는데, 컨텍스트가 128k까지만 되는 게 좀 아쉽네 :(
