로컬 AI 입문자입니다. 왜 무료로 배포하는 건가요?

원래 메타의 Llama 모델은 '유출'됐었음. 이게 진짜 유출인지 아니면 계획된 건지 말이 많지만, 결과적으로 엄청난 채택이 일어났고 사람들이 이걸 가지고 놀면서 파인튜닝하는 법을 배웠음. 더 중요한 건 사람들이 모델을 발전시키기 시작했다는 거임. 사실 예전에는 이 서브레딧 상주 유저들이 RoPE 스케일링이라는 아주 중요한 '기능' 2개를 개발했음. 덕분에 2k 컨텍스트(Llama 1은 2,048 컨텍스트 윈도우로 출시됨)였던 모델을 16k, 32k까지 확장할 수 있게 됐지. 또, 'Chain of Thought'라고 불리는 과정에서 '사고 단계'를 파인튜닝한 'SuperCOT'이라는 모델 개발 과정도 있었음. 이건 SuperHOT이라는 모델 시리즈가 개발되면서 대중화됐는데, COT 발전을 검열 없이 적용한 버전이었음. 결론적으로, 기업들은 모델을 세상에 풀어놓고 사람들이 무료로 소프트웨어 스택이랑 기능을 개선하게 만든 다음, 그 지식을 싹 다 가져가서 다음 모델 빌드에 적용하는 거임. 그러니까 이게 소외된 사람들에게 무료 AI를 제공하려는 이타적인 움직임은 절대 아님. 그냥 개발을 공짜로 시키려는 거지. (물론 AI를 한두 기업이 '독점'하지 못하게 하고, 정부가 AI를 과도하게 규제하거나 '금지'하기 어렵게 만들려고 의도적으로 퍼뜨렸다는 의견도 있긴 함. 특히 모델들이 저작권 침해 데이터셋으로 훈련됐던 초기에는 더 그랬고.)

그래서 이게 소시민들에게 무료 AI 접근성을 보장하려는 거창한 이타주의 운동이었던 적은 한 번도 없었어. 그냥 개발의 상당 부분을 공짜로 해결하려는 속셈이었지.

아니, 이건 오픈 소스 철학을 너무 깎아내리는 거 아님?

이타주의는 아니지만, 그렇다고 탐욕도 아님. 이건 집단적인 힘의 구조를 인식하고, 서로에게 이득이 된다는 걸 알기에 그 안에서 참여하는 거지.

대부분의 오픈 모델은 중국 연구소에서 나옴. 그들은 중국의 짝퉁이나 IP 도용에 대한 평판을 잘 알고 있음. 사람들이 중국의 추론 서비스에 데이터를 보내면 그 데이터가 제공업체나 중국 정부로 복제될 거라고 생각한다는 것도 알지. 심지어 증명할 수 있다 해도 구제받을 방법이 없다는 것도 알고. (미국을 옹호하려는 건 아님. 주된 차이점은 미국에선 증명할 수 있으면 소송이라도 걸 수 있다는 거임.)

그래서 그들은 모델을 오픈 웨이트로 공개할 수밖에 없음. 안 그러면 아무도 안 쓸 테니까. 이렇게라도 해야 신뢰도와 피드백을 얻고, 시간이 지나면 중국 내부나 보안에 덜 민감한 분야에서 추론 서비스 채택을 늘릴 수 있겠지.

동시에 중국의 오픈 모델 배포는 미국 연구소들이 앞서 나가기 위해 전례 없는 속도로 빌린 돈을 쏟아붓게 만듦. 장기적으로는 이게 서구 경제에 중국 경제는 거의 타격받지 않을 수준의 재앙이 될 수도 있음. 만약 향후 20년 안에 미국 경제가 무너지고 중국 경제는 그렇지 않다면, 권력 균형이 근본적으로 바뀔 수 있음. 그래서 아마 정치적 전략 요소도 있을 거임.

비즈니스 역사에서도 보면, 이기고 있다고 생각하면 폐쇄적으로 나가며 락인(lock-in)을 노리고, 뒤처졌다고 생각하면 채택과 전환, 호의를 얻기 위해 더 개방적으로 나가는 사례가 많음.

오픈 소스 소프트웨어라고 들어본 적 있음? 그거랑 기본적으로 똑같음.

여기 좋은 답변들이 많네, 대부분 일리가 있어. 어쨌든 핵심은 인센티브야. 중국은 기술을 최대한 빨리 발전시켜야 할 인센티브가 있어. 이건 1가구 1자녀 정책의 지연된 효과로 인한 인구 붕괴와 농촌 지역에서 도시로의 대규모 이주 때문이지.

중국의 시장 공산주의 경제는 꽤 독특해. 국가 계획 경제와 적당히 통제된 시장 시스템이 섞여 있거든. 정치 경제 이론에 관심 있다면 정말 흥미로운 주제야. 여기서 중요한 건 국가가 경제적 결정에 훨씬 더 큰 역할을 한다는 거지.

그들은 실용적인 목적, 특히 로봇 공학을 위해 AI를 국내에서 개발하고 싶어 해. 고령화로 인한 노동력 위기와 저임금 육체노동, 위험한 일자리를 기피하는 현상 때문에 노동 위기에 직면해 있거든. 그래서 중국은 단순히 팔아먹을 상품이 아니라 실질적인 이득을 위해 AI를 개발하는 거야.

그런 맥락에서 오픈 협력과 공조의 이점은 엄청나지. 오픈 소스 모델과 오픈 리서치는 AI를 더 빠르고, 저렴하고, 더 좋게 만드는 가장 효율적인 방법이야.

미국에서 AI는 전적으로 기업의 이익을 위해 개발되고 있어. 물론 기업마다 이익을 위한 인센티브는 다르지. 미국 경제를 경쟁적 과두제라고 부르는 건 아주 정확해.

Anthropic이나 OpenAI 같은 1세대 AI 제공업체들은 모델 접근을 제한하고 돈을 내게 해야만 수익이 나. 간단하지. 이 회사들은 오픈 소스 때문에 겁에 질려서 사람들이나 기업의 선택지를 제한하려고 오픈 소스를 금지하려 해. 그래야 돈을 더 벌 수 있으니까. 폐쇄적인 사일로 안에서 모델을 만드는 건 개발 비용이 10배는 더 들지만, 수익을 챙기려는 투자자들로부터 100배의 자금을 끌어올 수 있으니 큰 문제는 아니지.

다른 기업들은 이해관계가 아주 다르고 상충해. NVIDIA는 이런 비효율적인 사일로 경쟁을 질질 끌어야 돈을 제일 많이 벌어. 만약 누군가 AI 레이스에서 승리해버리면 NVIDIA는 사실상 고객이 하나밖에 남지 않게 되니 망할 수도 있어.

구글은 딱 반으로 갈라져 있어. 클라우드 부서는 GPU 용량을 팔고 싶어 하고, 연구 부서는 AI 레이스에서 이기려고 GPU를 독점하고 싶어 하지. 내부에서 끊임없이 왕좌의 게임을 찍고 있는 거야.

AI 관련 기업이 아닌 대부분의 기업은 그냥 저렴한 모델을 원해. 그래서 Anthropic이나 OpenAI가 독점하는 걸 절대 원치 않지. 그러면 비용이 천문학적으로 오를 테니까.

곁다리로, 민간 유틸리티 기업들은 전력과 수도 인프라를 구축하겠다며 돈만 챙기고 실제로는 인프라를 짓지 않으려 해. 수백 년 동안 그래왔던 사업 모델이니까. 아주 신이 났지. 그들은 여론을 조작하는 데 아주 능해. 90년대 초부터 전력망 전체를 탄소 배출 없는 안전한 원자력으로 바꿀 수 있었는데도, 아무 이유 없이 화석 연료를 태우고 있는 이유가 바로 이거야. 그들은 대중이 수십 년간 썩어가는 전력 및 수도 인프라 문제를 유틸리티 기업의 탐욕이 아니라 데이터 센터 탓으로 돌리게 하려고 엄청난 돈을 쓰고 있어. 그들은 당신이 플린트의 수돗물이 엉망인 것도, 텍사스 사람들이 겨울마다 추위에 떠는 것도 다 OpenAI 탓이라고 믿길 원해.

그래, 복잡하고 엉망이지. 이건 요약본일 뿐이고 훨씬 더 많은 이야기가 있어. LessWrong 광신도나 대만 상황, 칩스법, 창작 업계의 불만이나 저작권 문제 같은 건 꺼내지도 않았어.