로컬 AI의 미래

맞아. 내가 어떤 서브레딧에 있어서 거기선 'x'라는 게 매번 올라오니까, 다들 내가 아는 만큼 'x'에 대해 잘 알 거라고 착각하게 됨. 현실은 20명 중 1명도 'x'가 뭔지 모르는 경우가 태반인데.

반면에... AI의 특성을 보면 중대형 기업 환경에서 자체 호스팅하는 게 매력적으로 보임. 취미로 하는 사람들의 로컬 인퍼런스는 장기적으로 아주 확실한 '대세'가 될 거라고 봄

레딧의 모든 게 다 똑같지. 게이머 친구들이 있어도, 마주치는 사람의 99%는 GPU가 달린 데스크탑은커녕 데스크탑 자체가 없을걸. 로컬 AI는 여전히 아주 틈새시장임.

아이폰을 사면 이미 내장된 LLM 값을 지불하는 셈이지. 그러니까 로컬 LLM에 돈을 내는 게 아니라, LLM을 사용하는 제품을 사는 형태가 될 거야.

클라우드 AI의 경제성은 회사 지하실에 세워둔, 활용도 낮고 비싸고 비효율적인 물건을 유지하는 것보다 몇 배는 더 나아.

메모리 부족 현상이 해결되면 로컬 AI가 더 대중화될 거임. 한 2년 넘게 걸리려나?

시간이 지나면 대부분의 수요는 소형 모델이 차지할 거라 봄. 지금은 규모의 경제랑 모델 개발 전문성 부족 때문에 다재다능한 대형 모델만 쓰지만, 모델 구축 장벽이 낮아지고 조직들이 진짜 필요한 게 뭔지 파악하고 데이터 팀이 직접 모델 만드는 법을 배우면 그게 AI의 사실상 표준이 될 거임. 그래서 소형 커스텀 모델이 미래라고 생각함. 각자 니치한 목적에 맞으니까 로컬에서 돌리겠지. 뭐, IT 트렌드 예측 틀린 적도 많음! 참고로 나 30년 넘게 IT 굴러먹은 사람이라 틀린 적 많음. 🙂