r/LocalLLaMA•23일 전•26•47
로컬 AI를 문서 관리용으로만 쓰려는데, 쾌적한 경험을 위해 현실적으로 VRAM이 얼마나 필요할까요?
My only real use case for a local AI use is document management, how much VRAM do I realistically need for a good experience?
핵심 요약
문서 관리 및 RAG 구축을 위한 로컬 AI 구동 시 필요한 VRAM 용량과 하드웨어 구성에 대한 조언을 구하는 글입니다.
- VRAM 용량 — 12GB 정도면 7~14B 모델과 OCR, RAG 파이프라인을 돌리기에 충분함
- RAG 파이프라인 — 모델 성능보다 데이터 전처리(ETL)와 청킹, 검색 정확도가 훨씬 중요함
- 하드웨어 구성 — 12GB 카드로도 충분히 가능하며, 32GB는 전체 라이브러리를 컨텍스트에 올릴 때나 필요함
- 모델 선택 — 문서 Q&A에는 Qwen 같은 양자화된 모델이 효율적이며, 필요시 임베딩 및 리랭킹 모델을 병행함
그냥 paperless-ai 쓰면서 관련해서 질문 좀 던지고 싶은데 말이야. Home Assistant랑 연동까지 되면 금상첨화겠지만, 그게 메인은 아니니까 상관없고.
근데 고작 그거 하겠다고 32GB VRAM짜리 GPU까지 사는 건 좀 오버 아닌가 싶거든. 그렇다고 덜컥 샀는데 "기술적으로는 되는데 실사용은 개판이네" 소리 나올까 봐 걱정돼서 말이지.
보통 괜찮은 가격대에 나오는 GPU들이 8~12GB 라인업이던데, 내 용도면 그냥 12GB짜리 하나 사서 6~10GB 모델 돌리는 걸로 충분할까?
