r/LocalLLaMA•3개월 전•291•78
GLM-5.2를 이제 llama.cpp와 Unsloth Studio에서 로컬로 실행할 수 있습니다.
GLM-5.2 can now run locally in llama.cpp and Unsloth Studio.
핵심 요약
GLM-5.2 모델이 llama.cpp와 Unsloth Studio를 통해 로컬 환경에서 실행 가능해졌으며, 2비트 양자화로 크기를 대폭 줄였습니다.
- 모델 실행 — llama.cpp 및 Unsloth Studio 지원으로 로컬 구동 가능함.
- 양자화 효율 — 2비트 모델로 크기를 84% 줄이고 82%의 정확도를 유지함.
- 하드웨어 요구 — 256GB 이상의 RAM/VRAM 환경에서 실행 가능함.
- 정확도 논란 — 양자화 방식에 따른 실제 성능과 벤치마크 수치 차이에 대한 의문 제기됨.
2비트 모델은 1.51TB에서 238GB로 크기를 줄인 후에도(~84% 감소) 약 82%의 정확도를 유지합니다.
256GB Mac 또는 RAM/VRAM 설정에서 실행하세요.
GLM-5.2는 현재까지 가장 강력한 오픈 모델입니다.
각 GLM-5.2-GGUF 양자화의 정확도는 그래프를 확인하세요.
