AI에 80~100% 의존하는 제품을 만들고 있다면

동의함. 근데 Gemma 4 31B 같은 걸 누구나 PC에서 돌릴 수 있게 되려면 몇 년 걸릴까? 10년은 더 걸릴걸. 전 세계적으로 보면 더더욱. 다들 AI 기반 SaaS 만든다고 난리인데, 이거 진짜 위험한 도박임.

이 사람(작성자)은 프로젝트 생성하는 걸 말한 거임.

돌리고 싶은 사람들에겐 몇 년이면 충분할 듯. 하드웨어 가격 떨어지고 연산 효율 좋아지는 데 2~3년이면 됨. 지금 당장 불가능한 것도 아님. 31B면 VRAM 31GB 맞지? (아니면 말고. 예전엔 수백 GB VRAM 먹는 모델도 많았으니까.) 그냥 걱정되면 AI 래퍼 SaaS 같은 거 만들지 마셈. 그런 거 만드는 놈들이 망하게 둬야지. 멍청한 짓임.

그건 풀 퀀타이제이션(full quant)으로 돌릴 때 얘기고. 낮은 퀀타이제이션 쓰면 VRAM 적게 먹고, 터보퀀트(turboquant) 나오면 품질 저하 없이 KV 압축도 될 거임. 지금은 64GB~128GB RAM 있어야 고성능 로컬 모델 돌리지만, 압축 기술 발전하면 36GB 머신에서도 더 좋은 모델들 잘 돌아갈 거임.

어차피 전 세계 모든 사람이 네 제품 쓸 것도 아니잖아.

내 앱은 Gemma 4 4B로 로컬에서 잘만 돌아감.

장기적으로는 AI 최적화에 특화된 언어들이 나올 거라 봄. AI는 우리랑 다른 언어로 작업하고, 코딩하는 사람들은 로컬 앱으로 AI랑 코드 주고받으면서 필요할 때만 수정하는 식으로 효율 극대화하겠지.

가장 큰 걱정은 AI 기업들이 그냥 기능 하나로 전락해서 도태되는 거임. AI에 UI만 얹은 앱이라면 진짜 도박이지.