GLM 5.2: 토큰 사용량 절반 이하로 최대 지능의 98% 달성

이게 다른 모델 성능에 어떤 영향을 주는지에 대한 정보 여기 있음 - https://www.reddit.com/r/LocalLLaMA/comments/1rr6wqb/llamacpp_now_with_a_true_reasoning_budget/ 이 방식이 성능에 미칠 영향에 대한 내 우려는 타당하다고 봄.

근데 z_ai 기술 보고서에서 이 그래프를 봤는데, 코딩 작업 같은 경우엔 최고 수준의 절반도 안 되는 토큰만 써도 최고 지능의 98% 정도는 뽑아낼 수 있다는 거임. GLM 5.2는 기본값이 max level로 설정되어 있으니까 로컬 유저든 API 유저든 high level로 한번 써보는 걸 추천함.

GLM 5.2는 나한테 너무 커서, 난 GLM 4.7 돌리다가 Qwen 3.5 397B랑 그 파인튜닝 버전인 Nex N2 Pro 돌리는 중임. reasoning_budget 건드릴 필요가 없어서 그냥 냅두고 있어. 만약 문제 생기면 성능 저하나 이상한 버그 생길 수 있다는 거 감안하고 시도해볼 듯. 난 그냥 GLM 5.2에서 reasoning_budget이 미치는 영향에 대해 추측하는 것뿐임.

그건 가짜 컨텍스트를 주입하는 거임. 기본 버전에서는 모델이 생성한 게 아니라 서버가 </think> 태그 같은 걸 주입하거든. 모델은 그 태그를 스스로 예측하도록 학습됐는데 말이야. 더 복잡한 버전에서는 아예 가짜 메시지 전체를 주입함. 사고 종료 토큰이랑 사고 종료 메시지 둘 다 모델이 생성하는 게 아니라 서버가 만드는 거라, 모델 입장에선 갑작스러운 상황이라 불안정해질 수 있음. 챗 템플릿의 줄바꿈 같은 사소한 것도 모델 성능을 망가뜨릴 수 있는데, 이 핵(hack)이 안 그럴 이유가 없지...

x가 아니라 y. AI 덕분에 이제 저런 표현에 엄청 예민해짐.

그래 너 예민하네, 난 내 댓글 다시 읽으면서도 거의 신경 안 썼는데. LLM 안 쓰고 직접 손으로 쓴 거임.

이봐, 나도 LM Studio가 llama.cpp 버전을 백그라운드에서 돌리는 래퍼(wrapper)라는 건 잘 알아. 하지만 윈도우 사용자한테 직접 llama.cpp를 빌드하라고 하는 건 좀 가학적인 거 아니야?)) LM Studio의 많은 문제를 해결하는 가장 쉬운 방법은 사용자가 정의한 CLI 파라미터를 LM Studio가 설정한 것과 함께 llama.cpp에 전달하게 해주는 건데, 안타깝게도 LM Studio는 고객들 말을 안 들어주네.