레볼루트, Claude Code 대신 자체 호스팅 중국 모델 도입… 비용 90% 절감

사기꾼 알트먼은 거짓말쟁이니까

인기 없는 의견일 수도 있고 받아들이기 힘들겠지만, 샘 알트먼이 부분적으로는 맞말을 하고 있음. 다만 그 목적이 잘못됐을 뿐이지.

자체 호스팅이 필요 없다는 것도 아니고, 나도 추론용 보드를 직접 개발할 정도로 자체 호스팅을 지지함... 하지만 서버급 최신 하드웨어의 효율성 격차는 우리가 가진 것보다 수십 배는 더 큼. 게다가 그 하드웨어들은 대부분의 시간을 놀리지도 않을 거고... 만약 세상이 쓰레기들로 가득 차지 않고 기적적으로 우리가 공통의 목표를 위해 뭉쳤다면, LLM뿐만 아니라 게임용으로도 시간당 몇 푼 안 되는 가격으로 하드웨어를 쓸 수 있었을 거임. 샘은 이런 시나리오를 주장하는 게 아님. 그는 하드웨어 비용을 덜 내서 회사 지분을 덜 넘기고, 토큰 가격은 그대로 받으면서 재무제표를 개선하려는 것뿐임.

지금 우리가 보는 건 특히 자본이나 여유 자금이 부족한 기업들이 지분을 팔아야 하는 상황임. 예를 들어 오픈AI가 2025년에 100억 달러 가치의 지분 10%를 엔비디아 하드웨어로 바꿨는데, 2026년에 이 지분이 1000억 달러 가치가 되면, 오픈AI는 산 하드웨어가 10배 더 가치 있는 게 아니니까 900억 달러 손해를 보는 셈임. 그리고 실제로 하드웨어를 풀가동하는 건 바로 그들이지... 동시에 자금력이 빵빵한 곳들은 하드웨어를 사서 놀리거나, 제대로 활용하지 않거나, 심지어는 독점/지배력을 유지하려고 쌓아두기만 함. MS나 구글은 AI 컴퓨팅에 돈을 펑펑 쓰면서도 자체 하드웨어로 앤스로픽 모델을 호스팅할 만큼 여유가 넘침.

무료 이미지 생성 같은 멍청한 짓에 GPU 사용량의 상당 부분이 쓰이고 있는데, 어떻게 이게 놀고 있는 게 아니라는 거지? 만약 GPU 용량이 그렇게 부족했다면, 모든 GPU의 1초 1초가 더 생산적인 inference에 쓰였을 거 아냐. 아니, GPU 용량이 남아돈다는 증거는 바로 알트만이 우리가 GPU랑 RAM을 비디오 게임하는 데 쓰는 게 끔찍하다고 말한 그 이유랑 똑같다고.