r/LocalLLaMA•4개월 전•41•14
LFM2.5-8B-A1B의 Rust 네이티브, CPU 전용 구현을 만들었습니다
I put together a Rust-native, CPU-only implementation of LFM2.5-8B-A1B
핵심 요약
Rust로 구현한 CPU 전용 LFM2.5-8B-A1B 모델로, 16GB RAM 환경에서 효율적인 에이전트 실행을 지원합니다.
- Rust 구현 — 시스템 패키지 의존성 없이 설치가 간편한 CPU 전용 모델임
- 성능 최적화 — Ryzen 7950x 기준 초당 약 37토큰의 디코드 속도를 제공함
- 메모리 효율성 — 16GB RAM 환경에서 7GB 내외의 메모리로 구동 가능함
- 에이전트 기능 — KV 캐시 공유 및 프롬프트 재사용을 통한 효율적인 에이전트 실행 지원
이건 아직 작업 중인 상태지만, 영상을 찍은 이후로 도구 사용을 위한 콜백을 추가하고 테스트를 더 늘렸으며, cargo crate로 배포했어. 현재는 prefill 속도를 높이는 작업을 하고 있어.
내 Ryzen 7950x에서 디코드 속도는 거의 비슷하게 나오는데(초당 약 37토큰), prefill 속도는 아직 최적화가 안 된 상태야(디코드랑 거의 비슷함).
이 모델은 16GB RAM이 있는 기기에서 무리 없이 돌아가. 메모리 사용량은 7GB 내외가 될 거야. 여러 에이전트 인스턴스 간에 가중치를 재사용할 수 있고, 각각의 KV 캐시를 가질 수 있어. 에이전트들이 같은 프롬프트를 사용한다면 에이전트 객체 인스턴스를 복제해서 프롬프트에 대한 prefill 작업을 반복할 필요가 없게 만들 수도 있어.
