r/LocalLLaMA•약 2개월 전•175•24
OnePlus 13에서 17 tok/s로 구동하는 LFM2.5-2.6B ~ 순수 CPU
LFM2.5-2.6B on a OnePlus 13 at 17 tok/s ~ Pure CPU
핵심 요약
OnePlus 13에서 직접 만든 추론 엔진을 사용해 LFM2.5-2.6B 모델을 초당 17토큰 속도로 구동함.
- 자체 제작 엔진 — 450kb 크기의 경량 엔진으로 다양한 모델 아키텍처를 지원함.
- 모바일 LLM 구동 — OnePlus 13 기기에서 순수 CPU 연산으로 17 tok/s를 달성함.
- 기기 성능 테스트 — ADB를 통한 TUI 기반의 자체 기기 프로브 스위트를 활용함.
- 향후 목표 — 최적화를 통해 초당 30토큰 속도 달성을 목표로 함.
다들 아시다시피 이 모델은 2.69B 파라미터에 128K 컨텍스트 윈도우를 갖췄고, 다단계 에이전트 워크플로우를 위해 특별히 설계됨.
지금 보시는 건 제가 밑바닥부터 직접 만든 추론 엔진에서 돌아가는 Q4_K_M GGUF 모델임.
TUI는 ADB(Android Debug Bridge)를 통해 실행되는 제가 직접 만든 기기 프로브 스위트임.
엔진 전체 용량이 450kb밖에 안 되고 다른 모델 아키텍처(Qwen, Gemma, Bonsai 등)도 지원함.
현재 초당 30토큰까지 끌어올리려고 시도 중임.
