Z.ai, Air 모델이 필요하다! GLM GGUF는 언제 나옴?

3090 5개에 스레드리퍼 5965, 512GB DDR4 RAM 쓰고 있음. 가격 미쳐 돌아가기 전에 사서 다행이지. 7-8 t/s 정도 나오는데 아직 최적화는 다 안 했음.

512GB 맥 스튜디오를 노려보셈. GLM-5.1 Q4_K_M이 거기서 아주 잘 돌아감. 개인적으로는 GLM-4.5-Air를 제 속도로 돌리는 것만으로도 만족할 듯, 그건 (Q4_K_M, 최대 컨텍스트 기준) 128GB 정도만 있으면 되니까. 듀얼 MI210 장비면 가능하겠지만, 아직 내 예산으로는 무리임.

양자화 뭐 씀? GLM 5.1 q6 돌리고 있는데 GLM 5 q4kxl보다 훨씬 멍청해 보임. 내 설정 문제인지 모델 자체 문제인지 파악 중임.

난 Unsloth UD-4KXL 쓰는 중.

전반적으로 조금씩 개선되고 비전 기능이 추가된 데다 컨텍스트 붕괴까지 해결된 GLM-5.2가 나온다면, 상위 5%의 하이엔드 사용 사례를 제외하고는 다른 모델은 거의 필요 없을 듯.

걔네는 내가 차나 집을 팔아서 GLM 5.1 754b를 돌릴 거대한 장비를 맞추길 기다리는 중임. 내가 맞추면 5분 뒤에 GLM 5.2 Air 106b를 허깅페이스에 깜짝 출시해서, 내가 필요했던 것보다 7배나 큰 장비를 맞추느라 전 재산을 탕진한 멍청이가 된 기분을 느끼게 할 거임. 내가 장비를 안 맞추면 걔네도 절대 안 내놓을 거고. 이게 지금 상황이고 다들 아는 사실임.