정부 고위 AI 관계자와 나눈 로컬 LLM에 관한 대화

저는 로컬 LLM 솔루션 개발자이며, 최근 유럽의 한 소규모 정부의 AI 기술 책임자와 한 시간 동안 대화할 기회가 있었습니다. 그의 임무는 국가 비즈니스 커뮤니티 내에서 AI를 홍보하고, 지역 AI 연구 및 프로젝트 등을 지원하는 것입니다.

그는 저와 비슷한 연배의 나이 든 사람이고, 비슷한 글로벌 IT 조직에서 일한 기술적 배경을 가지고 있어 기술적인 수준에서 잘 통했습니다. 그는 제가 고객을 위해 개발 중인 AI 제품에 대해 꼬치꼬치 캐물었고, 질문을 매우 깊이 파고들었기 때문에 단순히 정부 관료 이상의 지식을 갖추고 있음이 분명했습니다. 이번이 그의 첫 정부 임명직이며, 기술 업계에서 매우 경험이 많은 사람입니다.

하지만 저를 놀라게 한 것은 로컬 AI에 대한 그의 인식 부족이었습니다. 물론 사람들이 LLM을 다운로드해서 실행할 수 있다는 사실은 이해하고 있었지만, 왜 개인이나 기업이 이런 일을 하고 싶어 하는지에 대해서는 전혀 알지 못했습니다. 제가 데이터 주권 문제를 설명했을 때, 그는 'Copilot 데이터 보호 협약'을 언급하며 반박했습니다. 제가 법률 회사들이 대형 AI 기술 협약을 읽어보고 그 내용이 마음에 들지 않아 자체적인 로컬 AI 스택을 구축하고 있으며, 로컬 LLM 솔루션을 통해 데이터를 보호하고 있다고 설명했을 때도 마찬가지였습니다.

우리는 API 비용 리스크에 대해서도 이야기했습니다. 기업이 OpenAI나 Anthropic 등의 API 호출에 의존하는 AI 스택을 구축하면, 해당 기업들이 API 비용을 급격히 인상할 경우 기업이 꼼짝없이 당하게 되는 비즈니스 리스크가 발생합니다. 프런티어 모델 기업들이 사용량 부하 문제나 모델 변경 등 내부적인 이유로 모델 접근 방식을 끊임없이 바꾸고 있다는 점은 말할 것도 없습니다. 일관성이 없어서 같은 프롬프트를 API로 두 번 보내도 두 개의 다른 답변을 얻게 될 가능성이 높은데, 이는 비즈니스 측면에서 우려되는 부분입니다.

그는 또한 대형 AI 기술 기업에 대한 반발이나, 많은 조직이 자신들과 가치관과 정치가 다른 기업과는 비즈니스를 하고 싶어 하지 않는다는 점, 그리고 환경 문제에 대해서도 전혀 인식하지 못하는 것 같았습니다. 저는 로컬 LLM이 특정 사용 사례에서 이러한 문제를 해결하여 더 많은 기업이 AI를 활용하게 할 수 있는 방법을 설명했습니다.

대화는 우호적이었고 그는 이해하려는 의지가 있었습니다. 하지만 로컬 LLM이 많은 비즈니스 사용 사례를 위한 옵션으로 어떻게 활용될 수 있는지에 대한 이해도가 너무 낮다는 점에 실망했습니다. 그는 그저 기업들이 미국 대형 AI 기업에 API 호출을 보내도록 만드는 데만 집중하고 있는 것 같았습니다. 그리고 그는 계속 Copilot을 언급했는데, 그럴 때마다 저는 몸서리가 쳐졌습니다.

저는 우리 로컬 LLM 사용자들이 로컬 LLM을 특정 사용 사례를 위한 진지한 비즈니스 솔루션으로 홍보해야 한다고 생각합니다. 만약 우리가 AI 리더들이 로컬 LLM을 가능한 솔루션으로 언급하게 만들 수 있다면, 대형 AI의 실행 가능한 대안으로서 이 솔루션 스택에 더 많은 투자를 유치할 수 있을지도 모릅니다.

여러분 중에도 로컬 LLM에 대해 정부 고위 관계자들과 이야기 나누는 분이 계신가요? 어떤 대화를 나누고 계신가요?