영국 핀테크 기업 레볼루트, Claude를 버리고 자체 호스팅으로 전환해 AI 코딩 비용 10배 절감

일반인들이 GPU를 살 수 있게 놔둔다면 가능하겠지.

로컬 컴퓨팅이 계속 발전하고 더 작은 AI 모델들이 계속 최적화되면서, 어느 시점에는 일반 소비자 기기에서도 대부분의 애플리케이션을 돌리기에 충분한 수준을 넘어서게 될 테니 이 말은 나중에 후회하게 될 거다. 급격한 기술 발전이 이루어지는 상황에서 사람들이 '절대'라는 단어를 얼마나 자주 남발하는지 참 웃기지.

홈 서버가 없는 일반인들도 클라우드 호스팅된 GLM 5.3을 이용할 수 있고, Claude나 ChatGPT 구독료보다 훨씬 저렴하게 추론 비용만 내면 됨.

케바케지! 꽤 낮은 사양의 하드웨어에서도 프런티어급에 가까운 모델들을 돌릴 수 있거든. VRAM이 많이 필요한 것도 아냐. 난 구형 폰 4대를 네트워크로 연결해서 꾸역꾸역 작업 돌리는 사람도 알아. 대신 대가는 '속도'지. 10분 만에 끝낼 걸 다음 날 아침에 받아봐도 상관없다면 아주 잘 돌아가.

공정하게 말하자면, 나도 Anthropic이랑 Dario는 싫지만 Claude가 최악의 수준인 개발자보다 10배는 더 나은 건 사실임. 장기적으로 보면 성능 좋은 로컬 LLM이 사회 전체에 훨씬 건강한 방향이겠지만, 가끔 LLM 쓰는 사람들한테는 중앙 집중식 클라우드 서비스도 나름 가치가 있음. 비용 측면에서 규모의 경제는 못 이기니까. 지금 비용이 폭등한 건 거대 AI 기업들이 시장 조작하는 개새끼들이라서 그런 거임.

DGX 스파크 6대 정도는 될 것 같은데... 그래도 이해는 감. 나도 직접 그렇게 하고 있고, 왜 다른 기업들은 안 하는지 의아함.