UkisAI Swift GLM5.3 + GSQ-RCO, Swift Ornith 9B / 추론 성능 손실 1% 미만으로 토큰 사용량 57.7% 절감
UkisAI Swift GLM5.3 + GSQ-RCO, Swift Ornith 9B / -57.7% Token Usage with <1% accuracy loss on max reasoning
핵심 요약
UkisAI가 추론 효율을 개선한 Swift GLM-5.3-Flash와 Swift Ornith 9B 모델을 공개했습니다.
- 토큰 효율성 개선 — 불필요한 추론 과정을 줄여 토큰 사용량을 대폭 절감함
- 모델 성능 유지 — 정확도 손실을 최소화하며 추론 속도와 효율을 높임
- 다양한 양자화 지원 — GGUF, AWQ, NVFP4 등 폭넓은 포맷을 제공함
- 향후 로드맵 — DeepSeek v4.1 Flash 모델 평가 및 자체 파운데이션 모델 개발 중
다들 안녕,
UkisAI의 Jovan이야.
오늘 우리는 커뮤니티에서 요청받은 모델 두 개를 추가해서 Swift 모델 시리즈를 확장하려고 해.
우리는 Swift GLM-5.3-Flash와 Swift Ornith 9B를 더 효율적으로 만들었어. 병적인 과잉 사고(pathological overthinking)와 연결된 토큰들을 찾아내서, 추론 길이를 직접적으로 "공격"하지 않고도 페널티를 줬거든. 그 후 RL과 on-policy distillation을 통해 모델이 더 적은 추론으로도 작동하게끔 최적화해서, 정확도는 유지하면서 토큰 사용량을 "압축"했어. 우리 데이터셋은 여기에서 볼 수 있고(모델마다 리샘플링하긴 했어), 우리 학습 방식에 대한 자세한 내용은 여기에서 확인해 봐.
Swift1.5 GLM-5.3-Flash는 MMLU-PRO 기준 -61.4%의 사고 토큰을 사용하고, 우리가 측정한 모든 벤치마크(Terminal-Bench 2.1, DeepSWE v1.1, GPQA-Diamond, MMLU-Pro, C-Eval, IFBench, AIME 2026, HMMT, LiveCodeBench v6)에서 평균 정확도 손실은 -0.46%에 불과해. 모든 테스트는 서로 다른 시드값으로 5번씩 돌렸어.
이 모델은 GGUF(1bit-8bit), W4A16AWQ, NVFP4 등 다양한 양자화 버전을 릴리즈할 거야. 지금 GSQ-RCO 논문을 독자적으로 재현하는 작업도 진행 중인데, 지금까지 연구 결과로는 우리 Q3 GSQ-RCO가 해당 사이즈에서 SOTA를 찍고 있어. 평가 스위트 작업이 끝나는 대로 며칠 내로 공개할게.
GGUF 1bit-8bit 양자화 버전은 여기:
