zai-org/GLM-5.3-Flash · Hugging Face
GLM-5.3-Flash 모델이 공개되면서 저렴한 비용과 높은 성능으로 로컬 LLM 커뮤니티가 뜨겁게 반응함.
huggingface.co
원문 사이트로 이동
로컬 모델의 급격한 성능 향상에 대한 기대감과 함께, 최신 모델들의 벤치마크 성능과 실제 체감 성능에 대한 사용자들의 다양한 의견이 오가고 있음.
다리오(Anthropic CEO)는 또 힘든 한 주를 보내겠구만.
IPO 때 Anthropic TAM 전망치를 30T에서 60T로 올려야겠네.
SpaceX에서는 잘 돌아갔음.
OpenRouter에서 100만 토큰당 0.075달러/0.25달러에 Opus 4.8급 성능이라니. 5월에 Anthropic이 제시했던 가격보다 100배는 싸네.
작년 한 해 동안 로컬 모델들 성능 좋아진 거 진짜 미쳤음.
320B 플래시라니, 윽. 이건 M5 Ultra 광고네.
맞아. Z.ai에서 제대로 된 4.7 Flash 후속작이 나올 거란 꿈은 이제 끝났네. 4.7 Flash는 당시에 정말 훌륭한 모델이었는데 아쉽다. 특히 기업용 봇 느낌 안 나게 프롬프트 짜면 내가 써본 모델 중 가장 자연스러웠거든. 가지고 놀기 딱 좋았는데. o7 (물론 이런 모델들을 계속 내주는 건 고맙지만... 이름 때문에 마음이 아프네)
엔비디아 실적 발표일에 맞춰서 공개한 게 우연은 아닐 거라 봄. 중국산 AI 칩으로도 충분히 트래픽 감당 가능하다는 걸 보여주면서 엔비디아한테 한 방 먹이려는 의도 같음.
"출시 전, 우리는 GLM-5.3-Flash를 OpenCode와 OpenRouter에서 ox-alpha라는 이름으로 익명 테스트하며 사용자 피드백을 수집했다. 이 모델은 금세 그 주 가장 인기 있는 모델이 되었고, 이 모든 트래픽은 중국산 AI 칩으로 처리되었다."
그리고
"동일한 하드웨어에서 초기 베이스라인과 비교했을 때, …"
확실히 한 방 먹이려는 건 맞는데, Ox Alpha에 대한 수요가 몰리기 시작한 지 며칠 지나니까 대부분의 프롬프트에서 429 에러 뜨면서 먹통이 됐음. 아직 갈 길이 먼 듯.
Opus 4.8급 성능이라는데, Qwen3.8 27B도 똑같이 주장하지만 내 생각엔 Opus 4.8 근처도 못 감 (Sonnet 4.5 정도나 그 바로 아래 수준인데, 그것도 여전히 훌륭하긴 함).
3.8 27b가 Opus 4.6이랑 비슷한 성능이라고 주장하더라. 나 회사에서 Sonnet 4.5 썼었는데, 내 경험상 27b가 더 나았음. 벤치마크처럼 Opus 4.6 수준은 아닐지 몰라도, 그 정도 성능 범위에는 근접한 느낌임.
GLM-5.3-Tiny?
활성 파라미터 18B. 10년 된 제온에 384GB 램, 16GB GPU 하나 꽂고 Q8로 돌리면 대충 10t/s는 나올 듯. dflash 나오면 30-40t/s까지 찍겠지. 램 가격이 미쳐 날뛰어도 SFF PC로 1,500달러 정도면 이런 머신 조립 가능함.
너가 말한 거랑 비슷한 PC 쓰는 사람인데, 절대 10ts 안 나옴. 잘해야 2~3ts, mtp 써도 5~6ts 정도일 거다. 그것도 낙관적으로 잡은 거임. 헛소리 좀 그만 퍼뜨려라.
확실히 시도해 볼 만은 한데, Ox Alpha 수요가 몰리기 시작한 첫 며칠 지나고 나니까 대부분 프롬프트에서 429 에러 뜨면서 아예 못 쓰게 됐음. 그러니까 아직 갈 길이 먼 거지.
글쎄, 난 OpenRouter로 그 모델 써서 프로젝트 하나에 2억 5천만 토큰 돌렸는데. 적당히 재시도/백오프 설정해두니까 잘만 돌아가던데. 몇 시간 동안 거의 혼자서 알아서 다 처리했음.
사람들이 무료인데다 모델 성능도 좋으니까 OpenRouter/Code 통해서 API를 미친 듯이 찔러댄 거지.
자율주행 트럭이 모래 4만 파운드를 쏟은 사고를 보고, AI가 GPU를 만들기 위해 벌인 일이라며 농담하는 커뮤니티 반응.
자율주행 트럭이 모래 4만 파운드를 쏟은 사고를 보고, AI가 GPU를 만들기 위해 벌인 일이라며 농담하는 커뮤니티 반응.
Anthropic의 신모델들이 벤치마크를 휩쓸면서 OpenAI의 시장 지배력이 흔들리고 있다는 커뮤니티의 반응.
Anthropic의 신모델들이 벤치마크를 휩쓸면서 OpenAI의 시장 지배력이 흔들리고 있다는 커뮤니티의 반응.
AI 모델 Luna가 '강아지 살해'라는 윤리적 테스트에서 추론 과정 없이 도구를 즉각 실행해버린 현상을 다룬 글.
AI 모델 Luna가 '강아지 살해'라는 윤리적 테스트에서 추론 과정 없이 도구를 즉각 실행해버린 현상을 다룬 글.