Pi를 로컬 LLM과 함께 실행하는 게 가능하거나 합리적인가요?
Is it possible or makes sense to run just pi, local llm?
핵심 요약
로컬 AI 초보자가 Unsloth 환경에서 Pi 확장 프로그램과 로컬 LLM을 동시에 사용하는 방법을 질문함.
- 환경 설정 문제 — Unsloth와 Pi의 경로 차이로 인해 확장 프로그램이 로드되지 않음
- 기술적 한계 — 작성자가 로컬 LLM과 웹 접근 기능을 동시에 활용하는 최적의 방법을 모색함
- 하드웨어 공유 — 사용자들은 각자의 고사양 장비에서 로컬 모델을 구동하는 경험을 공유함
- 성능 최적화 — Qwen 모델과 다양한 양자화 방식을 활용해 실무 가능한 속도를 확보함
아마 멍청한 질문일 수도 있는데, 로컬 AI 쪽은 완전 뉴비라 그래. 지금 Unsloth랑 Unsloth로 다운받아서 돌리는 LLM을 쓰고 있고, unsloth start pi 이런 식으로 pi를 실행하고 있어.
pi 확장 프로그램 두 개를 설치했는데(웹 접속이 필요해서), pi가 기본 경로를 하나만 쓰는데 Unsloth는 다른 경로를 써서 그런지 확장 프로그램이 로딩이 안 돼. 예전에 pi 확장 프로그램을 특정 폴더에 넣으면 된다는 글을 본 적은 있는데, npm으로 설치한 거라 어떻게 해야 할지 도통 모르겠네. LLM이랑 같이 빌드하거나 재빌드하라는 소리는 하지 마. 내가 워낙 젬병이라 다 망쳐버릴 게 뻔하거든. 그래서 차라리 이렇게 물어보는 거야.
만약 프로젝트 폴더에서 그냥 pi를 실행하면 확장 프로그램 두 개는 잘 로딩되는데, 이번엔 Unsloth를 안 거치니까 LLM이 로딩이 안 돼.
이제 멍청한 질문 하나 할게. Unsloth 없이 그냥 pi를 실행하면서, 하드 디스크에 저장된 로컬 LLM 경로를 지정해 주는 방식이 가능할까? 그리고 이게 말이 되는 소리일까? 가능하다면 어떻게 해야 하는지 간단한 예시 좀 알려줄 수 있어?
아니면 설치한 pi 확장 프로그램이랑 로컬에 저장된 LLM 둘 다 쓸 수 있게 다른 방법 없을까?
Unsloth가 llama.cpp를 쓰고 있으니까 이건 돌아가고 있는 셈이지. Unsloth가 자기네 버전을 쓰는 것 같긴 한데, 예전에 LM Studio를 설치했었거든. 그럼 나한테도 '일반적인' llama.cpp가 깔려 있는 거 아닐까?
기술적인 거 잘 몰라서 멍청한 소리 하는 거 미안해. 그래도 로컬 LLM으로 이것저것 해보면서 재밌게 놀고 싶거든. 지금까지는 인터넷 접속이 안 돼서 좀 제한적이었어. 누가 좀 도와주면 정말 고맙겠어.
