퀄컴 CEO, 2028년까지 1,000억 파라미터 모델을 상시 구동하는 스마트폰을 AI 기업들이 원한다고 밝혀

100B 파라미터 모델을 4비트 양자화로 돌리는데 왜 128GB 램이 필요한지 설명 좀 해줄래?

비트 폭 / 8 * 파라미터(십억) ~= 낮은 컨텍스트 추론에 필요한 GB 램

예를 들어:
4비트 / 8 * 100B ~= 50GB.

오해하지 마, 컨텍스트가 램을 많이 먹긴 하지... 하지만 요즘 모델들은 64k-128k 영역에서 몇 기가바이트 수준이라 꽤 괜찮아지고 있어. 다 합쳐도 한... 55GB 정도지.

그리고 NVFP4는 4비트 양자화라기보단 3.75비트 정도잖아.

이 상황에서 왜 128GB 램이 필요한지 잘 모르겠네.

CEO의 허풍이긴 한데 이건 진짜 개소리 수준이네. 당장 Gemma 2B 같은 작은 모델도 폰에서 돌리면 배터리 광탈하고 손도 못 댈 정도로 뜨거워지는데.

사람들이 희망 회로 돌리면서 이 글에 추천 누르는 거임. 애초에 왜 이런 게 여기 올라오는지 모르겠네. 하드웨어 루머보다도 신뢰성 없는 말도 안 되는 뇌피셜일 뿐임.

그러게, 하이퍼스케일링이 장기적으로는 지속 불가능하다는 걸 드디어 깨달은 모양이네.

LLM 모델이 내장된 ASIC 같은 거 아닐까.