샤오미 12 Pro 기반 24/7 AI 서버: Llama.cpp와 LiteRT 성능 비교 (V2 리디자인)

벤치마크 (gemma-4-E4B):
(프롬프트: “Write 2000 words IT essay”)

1. Llama.cpp

• 속도: 프롬프트: 30.6 t/s | 생성: 5.7 t/s
• CPU 부하는 꽤 "완만"하며, PSU의 전류 소모량도 낮습니다.

2. LiteRT (Google 제작)

• 생성 속도는 약간 더 빠르지만 CPU를 최대치로 사용하며, 전류 소모량이 눈에 띄게 높습니다.

GPU 문제

GPU에서 LiteRT를 실행하려고 시도했지만, 안타깝게도 Google AI Edge에서 제 Snapdragon 8 Gen 1용 APK를 출시하지 않았습니다. Qualcomm 사이트에서 라이브러리 파일을 교체해도 작동하지 않았습니다. llama.cpp의 Vulkan 빌드도 시도했지만 문제가 발생했습니다. 작동하게 되면 벤치마크를 업데이트해서 올리겠습니다.

결론

가치가 있었냐고 묻는다면: 남는 고성능 스마트폰이 있고 멋진 DIY 프로젝트를 원한다면 확실히 그렇습니다. 하지만 LLM 서버가 필요하고 번거로운 과정이 싫다면 그냥 미니 PC를 사는 게 낫습니다.

다시 한번 영감을 준 이 서브레딧에 감사드립니다. 여러분의 피드백이 없었다면 이렇게 대대적인 재설계는 엄두도 못 냈을 겁니다!

왜 LFM 8b1a는 안 썼어? 속도 대비 지능 비율이 꽤 괜찮거든. e4b보다는 확실히 나을 것 같은데.