샤오미, 표준 8-GPU 서버로 1T 모델에서 1,000+ tps 달성 주장

사람들은 '토큰의 겨울'을 걱정하지만, 진짜 '겨울'은 미국 소비자들이 비효율적인 모델을 돌리는 데이터센터 때문에 하드웨어 비용을 바가지 쓰고 있다는 점임.

중국이 운영하는 이 CSA 모델들은 최적화가 진행될수록 운영 비용이 더 경제적으로 변할 거임. 지금까지 DeepSeek, Xiaomi, Minimax가 바로 그걸 해내고 있음. 전 세계가 압축 희소 아키텍처는 너무 어렵다고 단정 지었음에도 불구하고 말이지.

중국은 최적화를 끝장나게 하고, 미국은 프런티어를 구축하지. DeepSeek 같은 연구소들이 거의 SOTA급 모델을 푼돈으로 만들고 전부 오픈 소스로 푸는 걸 보니 기쁘네. DeepSeek 승리.

미국 기업들이 희소 아키텍처 모델을 못 만들 이유는 없음. 안 하거나 못 하는 이유는 그렇게 하면 수십억 달러의 투자를 끌어낼 수 없기 때문이지.

왜 더 효율적인 모델에 투자하지 않고 '향상된 구글 검색' 같은 작업을 더 싼 모델로 돌리지 않는지 이해가 안 감. Claude 20달러 플랜 쓰는데 거의 쓰지도 않으면서 속도 제한 걸리는 거 지긋지긋함.

제본스의 역설에 따르면 토큰이 저렴해질수록 이 모델들을 활용할 비즈니스 사례는 더 많아질 거임. 모든 게 ChatGPT 5.5 ULTRA XTREME OMNISCIENT THINKING 모델에서 돌아갈 필요는 없다고.

r/codex 가서 읽어봐. 대부분 사람들이 /fast랑 /model x-high를 24시간 내내 돌리면서 불평하는 게 꽤 심각함. 하도 그러니까 서브 에이전트로 쓸 수 있었던 5.3 codex 모델들을 삭제해 버렸지. 사람들은 본능적으로 비효율적인 쪽으로 끌리는 것 같아.