Gemma-4-26B-A4B를 돌리는 데 GPU는 필요 없습니다

그렇게 극단적으로 갈 필요는 없지만, 일리 있는 말임. 소비자용 장비로도 꽤 괜찮은 모델들을 돌릴 수 있는 건 사실임. 빅테크 기업들은 일반인들에게 AI를 쓰려면 무조건 클라우드를 써야 하고, 아니면 침실에 서버 랙이라도 갖춰야 하는 것처럼 세뇌하려고 너무 애쓰고 있음.

“꽤 괜찮은 모델들”

Gemma4-26B-A4B는 18개월 전이었으면 폐쇄형 모델을 포함해도 세계에서 가장 똑똑한 LLM이었을 거임. 20배나 더 컸던 초기 DeepSeek R1보다 훨씬, 훨씬 더 똑똑함.

5년 전만 해도 어떤 트랜스포머 모델이 그 수준에 도달할 수 있을지 진지하게 의심하던 전문가들이 있었음.

그런데 오늘날에는 GPU도 없는 중급형 가정용 PC에서 돌아가고 있음. 우리는 지금 스타트렉 에피소드 속에 살고 있는 거임.

난 사이버펑크 쪽이 더 좋음, 사악한 기업들이랑 대규모 감시 사회라는 설정이 더 잘 어울리니까🙃 이건 내 예측이니까 그냥 참고만 해. 98%의 요청에 대해 데이터 센터가 전혀 필요 없는 시대가 아주 빠르게 다가오고 있음. 하지만 이미 수십억 달러가 지출됐고, "모두가 AI를 쓰고 우리한테 돈을 낼 거야"라는 계획 외에는 딱히 사업 계획도 없는 상태지.

그 질문에 답을 줄 수 있을 것 같음.

[이미지]