로컬 AI 모델에 맡길 만한 실용적인 작업은 뭐가 있을까?

솔직히 말하자면, 로컬 LLM과 클라우드 LLM은 기능과 사용 사례가 거의 같아. 비용? 유지보수? 대부분의 사람들에겐 여전히 클라우드 LLM이 우위지. 모두가 Fable이나 Astra 같은 걸 필요로 하는 건 아니고, 그런 건 일회성 요청에 가까우니까. 일상적인 프롬프트는 Flash나 Lite급 모델로도 충분히 처리 가능해.

로컬 LLM의 가장 큰 장점은 '너의 것'이라는 거야. API 종속성도 없고, 지리적 제한도 없고, 아무것도 없어. 데이터는 너의 것이고, 프라이버시도 너의 것이지. 그리고 무엇보다 중요한 건, 결국엔...

시스템 관리자로서 로컬 서버를 관리하는 것. 아주 유용함.

내 생각엔 이게 사람들이 간과하는 가장 실용적인 용도 중 하나임.

소셜 미디어 참여 관리, 매일 뉴스 가져와서 목적에 맞게 분류하기, 메일함 관리 같은 것들. 가능성은 무궁무진하다고 봐.

난 이 아이디어를 몇 년 동안 틈틈이 고민해 왔어(진짜로 맥북 프로 M1에 llama3 8B Q4를 올린 날부터). 목표는 에이전트가 환각으로 할 수 있다고 주장하는 걸 실제로 하게 만드는 거야. 예를 들어 예전엔 8B 모델을 '개인 비서'로 설정했을 때(툴 콜링이 나오기도 전이었지), AI는 자기가 이메일을 확인하고, 일일 브리핑을 정리하고, 지식 베이스를 업데이트하고, 생산성 시스템을 돌릴 수 있다고 계속 환각을 일으켰어. 물론 폐쇄형 시스템이라 아무것도 할 수 없었지. 그...