GLM-5.2 (744B MoE) on a 25GB-RAM consumer machine
25GB RAM의 일반 PC에서 거대 모델인 GLM-5.2를 구동한 사례에 대한 커뮤니티의 반응입니다.
github.com
원문 사이트로 이동
SSD 속도 향상에 대한 기술적 낙관론과 그에 대비되는 노후화된 하드웨어의 고충을 유머러스하게 주고받는 분위기임.
다들 속도 가지고 까기 바쁜데 핵심을 놓치고 있음. 아무도 이걸 실제 추론용으로 쓰진 않을 거거든. 진짜 대단한 건 744B짜리 전문가 모델을 디스크에서 스트리밍할 수 있다는 사실 그 자체임. 누군가 전문가 라우팅 예측을 잘해서 미리 불러오기(prefetch)만 성공하면 상황은 완전히 달라질 거임.
아무도 이걸 실제 추론용으로 쓰진 않을 거거든
언급된 0.1 tps라는 수치는 하루에 8000 토큰이 넘는 양임. 인터넷 연결이 안 되는 상황에서도 소비자용 노트북으로 전문가 수준의 어시스턴트에게 하루에 여러 번 질문을 던지고 답을 얻을 수 있다는 건데, 이건 정말 삶을 바꿀 수도 있고 생명을 구할 수도 있는 일임.
인간 전문가에게 질문 하나 답받으려면 몇 주씩 걸릴 수도 있다는 걸 기억해야 함. 그것도 비용을 감당할 수 있다는 가정하에 말이지.
질문을 똑똑하게 하는 법을 배우는 게 정말 정말 중요해짐. 거의 마법사처럼 말이야.
맞아. 스마트폰 꺼내서 텍사스에 있는 데이터센터에 아무 질문이나 던지는 게 불가능해질 미래를 최소한 마음의 준비라도 해두는 게 너무 이른 건 아님.
더 작은 LLM을 써서 질문을 다듬거나 대체 단어를 찾는 도움을 받을 수도 있지.
프롬프트 모델이 필요할 거야. 이런 디스크 기반 모델을 위한 기술과 프롬프트를 구축할 수 있는 전용 모델들 말이지.
예전엔 rmvb 영화 하나 받으려고 며칠씩 PC 켜놓기도 했잖아. 하루 8000 토큰이면 나쁘지 않지 XD
SSD 속도가 1~3년마다 두 배씩 빨라지고 있음.
내 13년 된 SSD한테도 좀 말해줘라.
지쳤어요 보스
네 개인적인 "세션"을 위한 영상 다운로드는 이제 더 이상 못 버티겠어.
몇 년이 걸릴 수도 있지. 심지어 우리가 제대로 된 질문을 하고 있는 건지도 확실치 않고.
이제 더 이상 바보 같은 소리가 아니게 됐네.
그래도 답은 얻었잖아.
42
사용자가 자신의 타이핑 속도를 측정해 LLM의 토큰 생성 속도(t/s)와 비교하는 웹 도구를 만들어 공유했습니다.
사용자가 자신의 타이핑 속도를 측정해 LLM의 토큰 생성 속도(t/s)와 비교하는 웹 도구를 만들어 공유했습니다.
Anthropic이 공개한 Claude 3.5 Opus 공식 프롬프팅 가이드의 핵심 요약 12가지.
Anthropic이 공개한 Claude 3.5 Opus 공식 프롬프팅 가이드의 핵심 요약 12가지.
AI 에이전트들이 담배를 피우며 여유를 부리는 영상에 대한 유머러스한 반응과 원작에 대한 고찰이 이어짐.
AI 에이전트들이 담배를 피우며 여유를 부리는 영상에 대한 유머러스한 반응과 원작에 대한 고찰이 이어짐.