r/LocalLLaMA•3개월 전•48•30

Pi에서 llama.cpp 사용하기

Using llama.cpp with pi

핵심 요약

Pi와 llama.cpp를 연동하여 로컬 모델을 관리하고 탐색할 수 있는 오픈소스 확장 기능을 공유함.

Pi 확장 기능 — llama.cpp 서버를 자동으로 감지하고 사용 가능한 모델 목록을 불러옴.
오픈소스 공유 — 로컬 AI 환경 구축을 위한 플러그인을 깃허브에 공개함.
기술 스택 — Deepseek V4-flash를 활용하여 기능 요청 및 버그를 처리함.

많은 분들이 Pi와 llama.cpp를 활용한 자신만의 설정을 사용하고 계시죠. 저도 제 나름의 설정이 있어서 공유해 보려고 합니다. 제가 Deepseek와 함께 작성한 확장 기능은 여기 있습니다: https://github.com/am17an/pi-llama-server . 이 기능을 사용하면 두 가지 간단한 작업을 할 수 있습니다: 실행 중인 llama-server를 자동으로 감지하고 사용 가능한 모델 목록을 나열하는 것이죠. 여기 데모 GIF가 있습니다(화질이 좋지 않은 점은 양해 부탁드립니다):

이게 다입니다. 더 많은 자유 소프트웨어를 즐기세요! 사실 저는 이 플러그인이 간단하기 때문에 완전히 로컬 AI 기반의 레포지토리로 만들려고 노력 중입니다. 그래서 모든 기능 요청이나 버그는 제 DGX Spark에서 실행 중인 Deepseek V4-flash를 통해 처리될 예정입니다.

원문

커뮤니티 목록

r/LocalLLaMA•3개월 전•48•30

Pi에서 llama.cpp 사용하기

Using llama.cpp with pi

핵심 요약

Pi와 llama.cpp를 연동하여 로컬 모델을 관리하고 탐색할 수 있는 오픈소스 확장 기능을 공유함.

Pi 확장 기능 — llama.cpp 서버를 자동으로 감지하고 사용 가능한 모델 목록을 불러옴.
오픈소스 공유 — 로컬 AI 환경 구축을 위한 플러그인을 깃허브에 공개함.
기술 스택 — Deepseek V4-flash를 활용하여 기능 요청 및 버그를 처리함.

주요 댓글

r/localllama

사용자들이 llama.cpp와 Pi를 활용한 다양한 도구들을 공유하며, 특히 prefill 확인이나 진행 상황 표시 기능에 대해 긍정적인 반응을 보이고 있음.

재밌는 우연이네요. 저도 오늘 아침에 Pi랑 llama.cpp 설정했는데, https://github.com/huggingface/pi-llama 이거 썼어요.

이 저장소가 정확히 뭘 하는 건지 모르겠네?

글쓴이랑 거의 똑같은 거야. llama.cpp 서버에서 사용 가능한 모델들을 pi에서 선택 가능한 모델로 자동으로 추가해 줌. 근데 https://llama.app/ 에 있는 예시를 보면 huggingface/pi-llama가 llama.cpp랑 pi를 같이 쓰는 (공식?) 권장 방식인 듯함. 아니면 그냥 커스텀 OpenAI 호환 설정으로 pi를 수동 설정해도 됨: https://pi.dev/docs/latest/models

나도 https://github.com/gsanhueza/pi-llama-cpp 쓰고 있는데, 이거랑 똑같은 기능에 몇 가지 기능이 더 추가돼 있음.

이제 나도 하나 만들어보고 싶네.

그럼… 자동 감지 기능을 쓰면 Pi에서 설정을 다 지우고 llama.cpp 설정을 LLM 관련 모든 것의 마스터로 만들 수 있다는 거야? 지금은 그냥 Pi의 models.json에 llama.cpp 세부 정보를 추가해서 쓰고 있는데, 만약 Pi가 서버에서 llama.cpp 설정(컨텍스트 사이즈 등)을 자동으로 불러올 수 있다면 당연히 그게 더 낫지.

저도 최근에 Qwen 3.6 35B/DS4를 사용해서 프롬프트 처리 진행 상황을 보여주는 확장 기능을 개발했어요: https://pi.dev/packages/pi-llama-cpp-stats

작성자님 확장 기능도 써볼게요, 공유해 주셔서 감사합니다!

와 이거 진짜 쩌네. 근데 어떻게 하는 거임? 내가 알기로는 llama-server는 처리가 다 끝나야 tok/s를 알려주지 않나?

이게 왜 필요한지 설명해 줄 사람..? 나한테는 llama router 모드로 다 기본적으로 되는데...

llama router가 뭐임?

원문r/LocalLLaMA