언론의 GLM-5.2 공포 조장

토큰당 몇 시간이겠지!

뭐, 성능에 대해서는 언급한 적 없잖아. 그냥 실행할 수 있다는 능력만 말한 거니까 기술적으로는 완전히 틀린 말은 아니지.

급할 거 없다면 RAM으로 버티면서 천천히 취약점을 찾을 수도 있는 거고...

그리고 200GB 이상의 VRAM이 그렇게 비현실적인 것도 아니야. Vast.AI 같은 곳에서 합리적인 가격으로 적당한 시간 동안 그 정도(혹은 그 이상)의 VRAM을 빌리는 건 누구나 쉽게 할 수 있거든(취약점 스캔 몇 번 하는 데 몇 주나 몇 달씩 걸리는 것도 아니고). RTX 6000 Pro 3개나 H200 2개면 끝이야.

상위 0.1% 빼고는 로컬에서 LLM 돌리겠다고 4만 달러 넘게 쓸 사람 아무도 없음. 젠장, 젬마 4 돌리려고 5090 사는 것도 상위 5% 수준일걸.

또 시작이네. 4만 달러 쓸 필요 없어. vast.ai에서 시간당 4달러면 되는데. 그냥 빌려서 작업하고 바로 끄면 그만임.

아니면 Ascend 950PR 두 개면 개당 3천 달러 정도니까, 주변 하드웨어랑 쿨링까지 다 합쳐도 1만 달러 정도겠네. 비교하자면 요즘 신차 평균 가격이 거의 5만 달러거든.

전체 인구 대비 비율로 따지면 하드웨어 자원을 가진 사람은 극소수지. 하지만 절대적인 수치로 보면 그걸 돌릴 자원을 가진 사람과 조직은 아주 많아.

기사 논지에 동의하는 건 아니지만, '실행할 수 있는 사람이 별로 없다'는 게 위험하지 않다는 근거가 될 수는 없어.

근데 기사에서는 그렇게 말 안 했음. 기사는 "사실상 모든 하드웨어"라고 했지.