NAS 기반 대규모 아카이브에서 개인적 가치를 창출하기 위해 로컬 AI를 활용하는 방법

사람들이 로컬 AI를 어떻게 쓰는지에 대해 궁금해하는 글은 엄청나게 많은데, 정작 답은 별로 없길래 내 경험담이나 좀 풀어보려고 한다. 다들 자기 환경에서 거대 프로젝트를 돌릴 만한 최상급 코딩 실력을 원하고, 그게 안 되면 아예 쓸모없다고 생각하는 것 같은데, 난 생각이 좀 다르다. 그런 건 별로 관심도 없고.

세 줄 요약: 최상급 모델(frontier model)을 써서 내 로컬 에이전트들이 내 방대한 책, 예술 작품, 보고서, 사진, 스캔 파일들을 알아서 처리하게끔 인프라를 구축했다. 인프라를 만들면서 로컬 AI 작업을 지정하고, 바꾸고, 수정할 수 있는 가이드랑 문서, 사용자 친화적인 옵션까지 다 챙겨놔서, 이제는 다 끝난 마당에 굳이 최상급 에이전트한테 손 벌릴 일도 없다. 난 이 에이전트들을 주로 수십만 개의 정보를 처리하고, 내 테라바이트급 자료들 사이의 연결 고리나 흥미로운 점들을 찾아내는 데 쓴다. 덕분에 내가 직접 파고들 가치가 있는 게 뭔지(아니면 그냥 훑어만 볼지) 쉽게 결정할 수 있지.

배경: 일단 밝히자면 난 코더도 아니고, 프로그래머도 아니고, 리눅스 bash 전문가도 아니다. 실리콘밸리에서 잘나가는 사람도 아니고, 창업 꿈나무도 아니며, 여기서 흔히 보이는 LLM 롤플레잉에만 목매는 사람도 아니다(그렇다고 비하하는 건 아님, 각자 인생 사는 거니까!). 그래도 그동안 호기심 때문에 이것저것 만져본 게 좀 있어서 일반인보다는 좀 아는 편이다.

두 번째로 고백할 건, 난 로컬 모델을 위한 인프라 구축이랑 초기 작업에는 최상급 AI를 쓴다는 거다. 그래, 100% 로컬은 아니라는 소리다.

핵심은 이거다. 로컬 모델이 도구 사용이나 기본적인 컴퓨터 작업에는 꽤 쓸만한데, 거창한 코딩 프로젝트(난 그런 거 거의 안 하지만)에는 영 아니라는 거다. 뭐, 파일 조작이나 도구 사용, 문제 해결 정도만 되면 로컬 모델의 코딩 실력은 딱히 신경 안 쓴다. 근데 내가 코더가 아니다 보니 에이전트가 돌아갈 결정론적 시스템을 짜는 게 좀 빡세거든. 그럴 때 최상급 AI가 아주 유용하다.

자, 배경 설명은 이쯤 하고, 그래서 내가 로컬 AI를 어떻게 쓰냐고?

좋은 점: 처음엔 Hermes Agent를 썼는데 진짜 재밌었다. RTX 5090에서 로컬 Gemma 4 31B Q4를 돌리면서 에이전트를 하나 세팅했는데, 일반적인 작업은 기가 막히게 잘했다. Signal 채팅이랑 연결해서 어디서든 접속할 수 있게 만들었고, cron 작업도 걸어두고, 데스크톱 파일에서 정보를 긁어오거나 내 의도에 맞춰 SearXNG로 검색도 시켰다. 외부 데이터 추적 없이 내 삶을 지속적으로, 그리고 사적으로 이해하게 만든 거지(Signal 메시지는 암호화되어 있고, 에이전트가 SearXNG로 검색하거나 브라우저로 방문한 것들도 사적이라고 하니까).

더 좋은 점: 그냥 심심해서 싹 다 갈아엎고 새로 시작하기로 했다. 이번엔 최상급 AI를 써서 끝판왕급 NAS 홈 라이브러리를 구축해 보기로 했지. 지금은 위키피디아, 위키피디아 좌표랑 연동된 개인용 구글 어스, 달과 화성용 '구글 어스', StackExchange 복제본, 수십만 권의 책과 보고서, 잡지, 고화질 역사 사진 갤러리, 박물관급 예술 작품 갤러리까지 포함된 엄청난 라이브러리를 구축했다.

거기에 로컬 에이전트 3마리(Strix Halo 박스 2대에서 GPT-OSS 120B Q4 구동, RTX 5090 1대에서 Gemma 31B Q4 구동)를 붙여서 내 테라바이트급 자료들을 읽게 시켰다. 책에서 이미지나 명언, 흥미로운 사실들을 뽑아내고 작품 간의 연결 고리도 찾게 만들었지. 수십만 권의 책을 뒤지는 지루한 작업을 에이전트한테 다 떠넘긴 셈인데, 덕분에 내가 뭘 더 읽고 즐길지 결정하는 게 훨씬 편해졌다. 에이전트 중 하나는 항상 대기 상태(24시간 내내 돌아가면서 사용자 채팅을 우선순위로 둠)로 둬서 라이브러리에 대해 궁금한 걸 물어보거나, 관련 책, 명언, 링크를 찾게 하거나, 그냥 심심할 때 대화 상대로 쓰고 있다.

집 안에 나만의 인터넷 세상을 구축해 버렸는데, 알고리즘이 내 뒤통수를 치거나 내 주의력을 팔아먹을 일도 없어. 다크 패턴, 광고, FOMO, 뇌 녹이는 숏폼 영상 같은 건 아예 없지. 내 디지털 공간에서 시간을 보내는 건 내가 나 자신을 위해 한 일 중 최고야. 비용이라고 해봤자 20달러짜리 구독권에 할당된 프론티어 토큰을 다 쓴 것도 아니고, 이걸 만든 프론티어 회사에 내 프로젝트 정보를 제공한 게 전부지.