r/LocalLLaMA•약 5시간 전•36•28

LFM3-1.7b 모델이 꽤 인상적임

LFM3-1.7b seems impressive

핵심 요약

Liquid의 LFM3-1.7B 모델이 압축 및 요약 작업에서 뛰어난 성능과 속도를 보여주며 주목받고 있습니다.

성능 평가 — 1.7B 모델임에도 긴 프롬프트에서 놀라운 일관성을 보여줌
작업 적합성 — 요약 작업에는 탁월하나 코딩이나 복잡한 지시사항 수행에는 한계가 있음
엣지 AI 지향 — 스마트폰이나 저사양 컴퓨터 등 엣지 환경에서의 구동을 목표로 함
모델 생태계 — LFM3 라인업의 비전 및 오디오 기능에 대한 사용자들의 관심이 높음

압축이랑 요약 작업용으로 Liquid의 LFM3-1.7B (Q8_0 GGUF, llama.cpp, ROCm) 테스트 좀 돌려봤음.

Strix Halo iGPU에서 prefill 4.1k t/s, decode는 78 t/s 정도 나오네.

7900 XTX + XT로 텐서 스플릿 돌리면 7.1k / 151 t/s까지 찍힘.

1.7b 체급 치고는 32k-64k 정도 되는 프롬프트에서도 생각보다 훨씬 말귀 잘 알아먹어서 놀랐다.

원문

커뮤니티 목록

r/LocalLLaMA•약 5시간 전•36•28

LFM3-1.7b 모델이 꽤 인상적임

LFM3-1.7b seems impressive

핵심 요약

Liquid의 LFM3-1.7B 모델이 압축 및 요약 작업에서 뛰어난 성능과 속도를 보여주며 주목받고 있습니다.

성능 평가 — 1.7B 모델임에도 긴 프롬프트에서 놀라운 일관성을 보여줌
작업 적합성 — 요약 작업에는 탁월하나 코딩이나 복잡한 지시사항 수행에는 한계가 있음
엣지 AI 지향 — 스마트폰이나 저사양 컴퓨터 등 엣지 환경에서의 구동을 목표로 함
모델 생태계 — LFM3 라인업의 비전 및 오디오 기능에 대한 사용자들의 관심이 높음

압축이랑 요약 작업용으로 Liquid의 LFM3-1.7B (Q8_0 GGUF, llama.cpp, ROCm) 테스트 좀 돌려봤음.

Strix Halo iGPU에서 prefill 4.1k t/s, decode는 78 t/s 정도 나오네.

7900 XTX + XT로 텐서 스플릿 돌리면 7.1k / 151 t/s까지 찍힘.

1.7b 체급 치고는 32k-64k 정도 되는 프롬프트에서도 생각보다 훨씬 말귀 잘 알아먹어서 놀랐다.

주요 댓글

r/localllama

사용자들은 LFM3-1.7B의 빠른 속도와 요약 성능을 긍정적으로 평가하며, 엣지 AI 환경에서의 활용 가능성에 주목하고 있습니다.

비슷한 모델들과 비교해 본 적 있어?

확실히 빠르긴 해.

정확한 수치는 없지만, 요약 같은 특정 작업에서는 내 생각에 qwen3.6 a3b 35b나 3.5-4b와 거의 동급인 것 같아.

a3b처럼 코딩이나 에이전트 작업에 쓰진 않겠지만, 특정 단일 작업용으로는 나쁘지 않아.

다만 실세계 지식은 거의 없더라.

나도 방금 Nemo-3.5-Bolt-E4B로 갈아탔는데, 딱 그런 용도(여러 가지 작은 것들을 한 번에 요약)로 쓰고 있어. gemma4 e4b에서 꽤 괜찮은 업그레이드였지. 혹시 그 작업 부하에 대해 저 모델들이랑 비교해 본 경험 있어?

내 생각엔 MiniCPM5 2B보다 나음. 그냥 전반적으로 더 똑똑함. 지시 이행도 더 잘하고, 논리 이해도 더 낫고, 툴 콜링도 더 잘하고, 추론 능력도 더 좋음. 더 빠르고 효율적이기도 하고.

요약 작업에는 확실히 좋고 빠르지. LFM2.5 2.6B처럼 DSpark drafter가 있다면 더 빨라졌겠지만. 가끔 루프에 빠지기도 하는데, 다시 생성하면 되니까 큰 문제는 아님.

반면에 더 강력한 제약 조건이 필요한 지시사항이나 예제 기반 생성은 이 모델이 잘 못해. 더 큰 LFM2.5 24B A2B QAD도 그렇긴 하지만 1.7B보다는 덜하지. dense Qwen3.8 27B, Gemma 4 31B, Nanbeige4.3 33B는 제대로 해결하지만, 훨씬 크고 느리잖아.

그러니까 적절한 작업에 쓴다면 아주 좋은 모델이지.