r/LocalLLaMA•5개월 전•369•237
혹시 로컬 LLM을 코딩 말고 일상적인 개인 지식 베이스로 쓰는 사람 있음? 다들 어떻게 설정해서 씀?
Anyone actually using a local LLM as their daily knowledge base? Not for coding, for life stuff. What's your setup?
핵심 요약
로컬 LLM을 코딩 용도가 아닌 개인 문서 관리 및 지식 베이스로 활용하는 실질적인 설정과 워크플로우에 대한 질문.
- 개인 지식 베이스 — 로컬 LLM을 활용해 개인 문서와 노트를 관리하는 실용적인 워크플로우 탐색.
- RAG의 현실 — 복잡한 RAG 설정보다는 단순한 노트 앱 연동이 더 효율적이라는 의견 제시.
- 하드웨어 제약 — 소비자용 하드웨어에서 모델을 구동할 때 발생하는 컨텍스트 길이와 성능 문제.
- 도구 선택 — LM Studio나 Obsidian 등 개인 환경에 맞는 도구 조합에 대한 사용자 경험 공유.
요즘 이 주제에 깊게 빠져 있는데, 실제로 이 용도로 쓰는 사람을 찾기가 힘드네.
여기 있는 사람들은 다들 코딩, 챗봇, 아니면 창작 글쓰기용으로 로컬 LLM을 돌리잖아. 멋지지. 근데 이걸 제대로 된 개인 지식 베이스로 쓰는 건 어때? 예를 들어, 자기 노트, PDF, 각종 문서를 다 때려 넣고 매일매일 내 삶에 대해 직접 질문하는 거지.
진지하게 알아보려고 했는데 벽에 부딪혔어. 대부분의 자료는 개발자가 뭔가를 만드는 걸 전제로 하거나, 아니면 2년 전 자료라 지금은 완전히 바뀐 도구들을 추천하더라고.
그래서 진짜 궁금해서 물어보는 건데, 혹시 이거 매일 실제로 하는 사람 있음? 실험용 말고, 진짜 워크플로우로 말이야.
계속 막히는 부분들:
- 어떤 모델을 쓰고 있음? 소비자용 하드웨어에서 RAG 돌리는 건 양자화에 따라 까다로워 보이던데.
- 검색 결과를 진짜 믿음? 아니면 환각(hallucinations) 때문에 매번 다시 확인함?
- LlamaIndex vs Ollama 등등, 최근에 좀 덜 고통스럽게 만들어주는 도구가 나왔나?
- 컨텍스트 길이 문제는 어떻게 함? 개인 문서가 쌓이기 시작하면 감당이 안 되던데.
튜토리얼이나 깃허브 레포지토리 찾는 거 아님. 유지보수하느라 부업처럼 시간 쏟지 않고도 실제로 잘 쓰고 있는 사람 이야기를 듣고 싶음.
