OpenAI와 Anthropic은 사람들이 로컬 모델로 넘어가는 걸 두려워하면서도, 사실상 그걸 부추기고 있음

걔네가 너를 고객으로 생각 안 한다는 걸 알아야 함. 대형 계약 맺는 기업 고객은 좀 신경 쓰겠지만, 진짜 원하는 건 자기네 모델을 내부용으로 만들어서 자기들이랑 소수만 쓰는 거임. 바이오, 보안, REA 같은 제약 사항은 앞으로 더 늘어날 거임. 언제든 계정 정지당할 수 있는데 고객센터에 전화할 곳도 없음.

그들도 알겠지만, Fable의 크기가 7TB라는 소문이 사실이라면 이걸 로컬에서 돌릴 방법은 없어. 그들이 소유한 대규모 컴퓨팅 클러스터만이 유일한 방법이지. 이건 비행기 표를 사는 것과 전용기를 빌리는 것, 그리고 747기를 사는 것의 차이야. 마지막 건 대부분 사람에게 불가능하지. 두 번째 것도 빌린 컴퓨팅 자원으로는 정말 어렵고. 테스트에서 성능이 비슷하더라도 최신 모델들은 하는 짓이 정말 미쳤어. 로컬 모델을 섞어서 쓰고 싶지만, 그들이 제공하는 수준에 근접하기는 정말 힘들어. 코드를 이만큼 짤 때, 그 오류율은 작업 흐름을 이어가느냐 아니면 익숙하지 않은 코드베이스에서 버그를 잡느라 몇 주를 보내느냐의 차이거든 :/

로컬 모델은 이미 주류가 됐지만, 대형 제공업체 수준의 컴퓨팅 자원이 없으면 1만 달러 이상의 시스템을 갖추지 않는 한 TPS가 엄청나게 느려. 아직 안 써봤다면 Deepseek를 시도해 볼 만해. 평균 이상의 품질을 내면서도 훨씬 저렴할 수 있거든. 그 외에는 로컬 모델의 매력이 작은 작업을 하거나 비싸고 강력한 컴퓨팅 자원을 쓸 때만 비교할 만한 수준이야. 내가 틀렸다면 알려줘. 세상의 모든 로컬 모델을 다 테스트해 본 건 아니니까.

100% 로컬은 아니지만, 오픈 웨이트 모델의 매력 중 하나는 돈을 지불할 수 있는 기업이 많다는 거야. 예를 들어, 어떤 작업은 작은 로컬 모델을 쓰고, 더 큰 계획 작업은 Huggingface API(또는 다른 제공업체)를 호출해서 GLM이나 Kimi K3 같은 걸 쓸 수 있지. 한 기업에 문제가 생기면 다른 곳으로 옮겨서 같은 모델을 계속 쓸 수 있는 거야.

샘은 모든 컴퓨팅 자원 재고를 사들여서 하드웨어 측면에서 로컬 모델을 타격하고 있어. 아이러니하게도 이게 Anthropic의 마녀사냥보다 훨씬 효과적이지.