Ox Alpha의 정체를 알아냄. 미공개 z.ai의 GLM 모델임.
Found out the model behind Ox Alpha. It's unreleased z.ai's GLM model.
핵심 요약
토큰화 방식과 이미지 인코더 테스트를 통해 Ox Alpha가 미공개 z.ai의 GLM 모델임을 밝혀냄.
- 모델 정체 분석 — 토큰화 방식과 이미지 인코더 테스트를 통해 Ox Alpha가 GLM 기반임을 확인함.
- 이미지 인코딩 검증 — 다양한 크기의 노이즈 이미지를 입력하여 GLM의 토큰 예측값과 일치하는 결과를 도출함.
Ox-alpha 토크나이저가 GLM이랑 똑같다는 거 이미 몇 명 확인했더라. 나도 직접 검증해 봄. 이미지 인코더도 똑같음. 크기 제각각인 랜덤 노이즈 이미지 넣어서 토큰 개수 세어봤거든.
size and tokens
224x224=66 tokens
256x256=102 tokens
448x448=258 tokens
512x512=363 tokens
1024x1024=1371 tokens
18개 사이즈 테스트해 봤는데, 전부 다 GLM 이미지 설정에서 예측한 값이랑 정확히 일치함. 14픽셀 정사각형을 2x2로 합치고, 이미지는 28의 배수로 올림 처리하는 방식임.

