통합 메모리 시스템이 아닌 환경에서 GLM 5.x를 로컬로 구동하는 가장 저렴한 방법은?

Sapphire Rapids ES 56코어 아이디어와 관련해서, LLM 추론에서는 코어 수보다 메모리 대역폭이 훨씬 더 중요하다는 점을 기억하세요.

병목 현상은 56코어 CPU가 RAM에서 데이터를 기다리느라 대부분 유휴 상태로 있게 된다는 점입니다. CPU 방식을 택하려면 코어 수가 아니라 메모리 채널 수를 봐야 합니다.

8채널 DDR5를 지원하는 Sapphire Rapids나 AMD EPYC 플랫폼을 구할 수 있다면, 4비트 고용량 모델에서도 괜찮은 초당 토큰 수를 얻을 수 있을 겁니다. 하지만 엔지니어링 샘플은...

RAM과 관련해서 한 가지 가능성은 알리바바를 이용하는 겁니다. 보드의 모든 슬롯을 비교적 저렴한 가격에 채울 수 있을지도 모릅니다. 문제는 믿을만한 판매자를 찾아야 하고, 주문 시 보통 최소 수량이 있다는 점입니다. 보통 최소 10개 이상이죠. 8슬롯 보드에 여분으로 두 개를 더 가지고 있으면, 몇 개가 불량일 때 예비용으로 쓸 수 있고 상태가 좋으면 나머지를 팔아버릴 수도 있으니 유용할 겁니다.

알리바바를 이용할 때 한 가지 중요한 점은...

CPU 추론 시 프롬프트 처리 시간을 정말 과소평가하고 계시네요.

저는 RTX 6000, 5090, 3090으로 전부 GPT를 돌리고 있습니다. Minimax가 VRAM에는 들어가지만 컨텍스트가 커질수록 매우 느려집니다. Deepseek에 돈을 내는 게 기다리느라 시간을 낭비하는 것보다 훨씬 낫습니다. 시간 낭비도 곧 돈을 낭비하는 거니까요. 하루에 48시간씩 기다릴 여유가 있는 게 아니라면 말이죠.

코딩 작업이라면 CPU 전용 추론은 잊으세요. 지쳐버릴 거고 LLM은 여전히 PP의 50% 수준에 머물러 있을 겁니다. 저는 여기에서 산 구형 제온 HP Z440 4채널 DDR4 장비를 가지고 있는데, 수학 문제나 간단한 질문을 하고 커피를 마시러 가는 용도로만 써서 저한테는 괜찮습니다. 코딩용으로는 가장 저렴한 1년짜리 Z.ai 코딩 플랜을 구매했는데 제 필요에는 충분하더군요. 구매 당시 딜은...