OpenAI와 Anthropic은 사람들이 로컬 모델로 갈아탈까 봐 걱정하지만, 사실상 그들이 자초하고 있음

2040년까지 기다려 봐. 플러그 앤 플레이 방식의 256GB AI 가속기가 표준이 될 거야. 모델 자체의 효율성이 엄청나게 개선되는 건 말할 것도 없고.

최신 5090이나 Blackwell 같은 건 미래에는 비웃음거리가 될걸.

이미 엎질러진 물이야.

난 그런 미래가 올 거라 생각 안 해. 만약 플러그 앤 플레이 256GB AI가 쓸만해진다면, 클라우드에 있는 Gemini 3.12345 플래시 같은 모델은 이미 전지전능한 수준일걸.

아마 성능 격차는 줄어들고, 우리가 현재 사용하는 다른 기술들처럼 변할 거야. 부가 기능, 사용 편의성, 접근성, 그리고 더 큰 환경과의 통합이 중요해지겠지.

클라우드 스토리지로 쓸 저렴한 VPS를 빌릴 수도 있지만, 사람들은 드롭박스 같은 걸 쓰잖아. 직접 구축할 능력이 있어도 더 편한 방식을 선택하는 이유가 있는 법이지.

그리고 그것들은 최첨단 모델만큼 좋아지기 시작했다.

로컬 모델이? 엉? Kimi-K3는 오픈 소스라 사용량을 추정할 수 있는데, 꽤 괜찮은 추론 능력을 갖춘 모델이야. 2.8T 파라미터지만 미국 모델들보다 더 선택적으로 사용하지. Muse와 비교할 만하지만 장점은 달라. Astra나 Fable 같은 수준은 절대 아니야. Kimi-k3를 쾌적하게 돌릴 하드웨어 구성은 냉각 장치 제외하고 116kw가 필요해. 이건 Moonshot이 권장하는 서버 8대 구성에서 나오는 건데, 서버 한 대당 14.5kw를 먹거든. 이게 어느 정도냐면, 일반적인 미국 가정집 평균 전력 소모가 1200와트야. 대부분 가정의 최대 전력(에어컨, 건조기, 오븐을 동시에 돌릴 때)이 15kw 정도지. 집에서 모델 돌리는 사람들은 보통 500w 이하를 써. 걔네들은 성능도 안 좋은 아주 저렴한 모델을 쓰면서 노는 거야.

참고로 그 하드웨어 초기 비용은 400만 달러야. 그런 수준의 모델을 감당할 수 있는 이유는 1000명이 공유하기 때문이지. 그리고 넌 먹고, 자고, 운전하고, 영화 보는 시간이 1000번의 구독보다 훨씬 많잖아.

에휴, 그냥 구독 서비스랑 오픈 라우터(Open Router)를 섞어서 쓰는 게 비용 효율적임.