이론: 로컬 AI가 기업 시장에서 폭발적으로 성장할 것

기업 AI 배포 현장에서 일하는 사람으로서 말하자면, 현재 로컬 AI는 전혀 표준이 아니며 앞으로 1년 안에 바뀔 거라고 기대해서도 안 됩니다. 대부분의 '기술' 기업들은 자체 호스팅 배포를 구축, 유지, 개선할 ML 및 IT 역량이 부족합니다. 로컬 자원에서 실행 가능한 모델들은 일반 직원들이 쓰기엔 적합하지 않으며, 각 하드웨어와 사용자 요구에 맞춰 환경을 최적화하는 건 엄청난 골칫거리입니다.

대부분의 기업은 기밀 보호를 위해 DPA(데이터 처리 계약)를 사용하거나, 데이터 처리 및 저장 위치를 물리적으로 격리하는 기업 데이터 테넌시 계약을 활용할 겁니다. 극소수(10% 미만)만이 진정한 로컬 또는 자체 호스팅 모델을 지원하기 위해 고사양 PC를 도입하겠죠(현재 사용 가능한 최상위 모델들과 비교할 만한 K3.1 프로급 모델들 정도만요).

대다수의 소프트웨어 엔지니어들은 llama.cpp가 뭔지도 모릅니다. 비기술직 종사자들이 이 기술과 얼마나 동떨어져 있는지 생각해보세요.

아이러니하게도 우리 쪽은 정반대로 가고 있습니다. 오픈 소스가 OpenAI와 Anthropic에 압박을 가해 Luna/Haiku 같은 모델을 출시하게 만들었기 때문에, 그냥 그들에게서 사는 게 더 합리적입니다. GPU를 풀가동할 수 있는 게 아니라면 로컬은 비용이 너무 많이 듭니다.

물론 로컬 모델들이 없었다면 그들이 그런 가격대로 모델을 출시하지는 않았을 거라는 점은 인정합니다.

그건 다른 사람들이 알아도 상관없는 데이터를 다룰 때나 하는 말이죠.

기밀 데이터가 생기는 순간, 특히 비밀 데이터라면 기본적으로 로컬에서 돌려야 합니다.

이 문제로 고용주에게 엄청난 반발을 샀습니다. IT 부서는 25만 달러 미만의 솔루션은 고려조차 거부했고, 그게 너무 비싸다고 주장했죠.

또한, '클라우드 사용'은 모든 문제에 대한 정답으로 널리 받아들여지고 있으며, 온프레미스 기능을 제안하기만 해도 기존 통념에 반한다는 이유로 즉시 회의적인 시선을 받습니다.

어쩌면 제 고용주가 일반적인 기업 사고방식을 대변하지 못하는 걸 수도 있지만, 다른 회사 친구들에게 들어보면 다른 곳도 다 비슷합니다.

그렇긴 하지만, 로컬 추론은 비즈니스적으로 충분히 타당하다고 생각합니다. 경영진이 그 생각을 받아들이기만 하면 되죠. 하지만 그건 기술적인 문제가 아니라 사회적인 문제이고, 저는 엔지니어니까 사회적 문제 해결은 다른 사람들에게 맡기렵니다.

전 잘 모르겠네요. 이 회사들이 실제 소프트웨어를 AWS에 호스팅하고, 임원들이 Teams에서 만나 SharePoint로 계획을 짜는 걸 괜찮아한다면, LLM이 굳이 결정적인 문제가 될 이유를 모르겠습니다.

임원들이 더 많은 보안을 원할 때 조금 더 자주 사용될 수는 있겠지만, 대규모로 도입하는 게 합리적이라고는 보이지 않습니다.