Z.ai의 수석 과학자 Jie Tang이 차세대 GLM-5.5(32B, 122B, 256B)의 학습 파이프라인을 공개함

난 개인적으로 별로 실망 안 함. Qwen이 ~30B 모델 니즈를 아주 잘 채워주고 있거든(나도 로컬에서 그거 쓰고). 그래서 GLM이 OpenAI나 Anthropic이 폐쇄적인 모델로 시장 독점 못 하게 거대 모델 쪽이랑 경쟁하는 건 괜찮다고 봄.

물론 내가 그 거대한 GLM 모델을 직접 돌릴 순 없겠지만, 그런 오픈 모델이 '존재한다'는 것 자체가 중요하니까.

누가 알겠어, 다들 말하는 거품이 터져서 언젠가 데이터 센터 쓰레기장에서 서버 랙 하나 주워다가 GLM 모델 돌릴 수 있게 될지.

롤플레잉 하는 애들은 이제 끝났다. Gemma 31B 급이면서도 VRAM을 미친 듯이 잡아먹는 컨텍스트 토큰 문제 없는 모델이 나올 줄 알았는데, 로컬 롤플레잉에 엄청난 기회였을 텐데 말이야.

Gemma 5 나오면 (내년에) 다시 부활이다. 그때까지는 지금 있는 걸로 버텨야지...

그 "미친 수준의 컨텍스트 토큰 VRAM 점유"는 어텐션 헤드 수를 늘리고 무손실 어텐션 메커니즘을 적용해서 그런 거임. 특히 긴 대화 세션에서 추론 품질이 높은 이유이기도 하고.

Gemma 5 dense 모델도 똑같이 유지하되, MoE 모델에는 좀 더 가볍고 경제적인 어텐션 메커니즘을 넣어줬으면 좋겠음.

dense 모델을 쓴다는 건 이미 고품질 출력을 위해 자원을 쏟아붓기로 결정했다는 뜻이니까, 고품질 출력을 뒷받침할 어텐션 메커니즘에 자원을 아끼는 건 말이 안 됨.

하지만 MoE를 쓴다면 이미 속도와 자원 효율적인 동시 세션 호스팅을 위해 출력 품질을 타협하기로 결정한 거잖아. 그렇다면 자원 효율적인 어텐션 메커니즘을 위해 출력 품질을 조금 더 타협하는 것도 괜찮지.

비하하려는 건 아님. 나도 dense 모델이랑 MoE 모델 둘 다 쓸 데가 있으니까. 그냥 구글이 각 니즈에 맞춰 최선의 설계 결정을 내렸으면 하는 바람임.

"다음 세대 베이스 모델로 병합하기 위해 사후 학습(post trained)했다"는 말이 도무지 이해가 안 가네. 왜, 그리고 어떻게 작은 모델들을 병합해서 더 큰 모델을 만든다는 거야?

요즘 프론티어 모델들은 다 이런 식으로 만들어. 각 도메인별로 전문가 모델을 과잉 학습(overtrain)시킨 다음에 가중치를 병합해서 다시 "베이스"로 만드는 거지.

파괴적 망각(catastrophic forgetting)을 피하는 방법이기도 해.

왜 그 사이즈의 모델들을 출시 안 하는지 이해가 안 가네. 사람들이 저런 모델을 원하고 있고 좋은 소식에 목말라 있다는 건 뻔한데 말이야.

피가 아래로 쏠렸다가 2초 만에 다시 뇌로 돌아왔네.