Sabi-Noema: Qwen 3.8 27B 기반의 성능 및 효율성 중심 파인튜닝 모델
Sabi-Noema: A capability and efficiency focused fine-tune of Qwen 3.8 27B
핵심 요약
Qwen 27B를 기반으로 추론 효율성과 성능을 대폭 개선한 Sabi-Noema 모델이 공개되었습니다.
- 성능 개선 — 코딩 및 에이전트 작업 능력 향상과 환각 현상 감소
- 추론 효율성 — 토큰 생성량 감소 및 MLA 변환을 통한 KV 캐시 최적화
- MLA 기술 — 추가 학습 없이 보정 데이터만으로 GQA를 MLA로 변환
- 오픈 소스 — Apache 2.0 및 MIT 라이선스 기반의 개방형 환경에서 학습
세 줄 요약: 소형 모델의 성능과 추론 효율성의 한계를 동시에 돌파한 새로운 Qwen 파인튜닝 모델임.
다들 안녕,
Qwen 3.8 27B를 기반으로 후학습(post-trained)을 거친 두 가지 버전, Sabi-Noema와 Sabi-Noema-MLA를 공개한다. 이 모델들은 30B 미만급 모델에서 성능의 한계를 돌파했고, 불필요한 군더더기를 2배 줄였으며, 전부 오픈 소스 환경에서만 학습시켰다.
이 모델들은 코딩, 에이전트, 툴 콜링 작업에서 성능이 개선됐고 환각 현상도 훨씬 줄었다. Sabi-Noema는 DeepSWE 벤치마크에서 GPT 6 Luna-medium을 털어버리고 Luna 6 medium과 high 사이의 성능을 보여준다. TB2.1, Tau-3 bench, ClawEval, BFCL v4 같은 에이전트 및 툴 콜링 벤치마크에서는 Luna-high까지 압살한다. 환각 발생률도 Luna나 Qwen, 기타 경쟁 모델보다 훨씬 낮다.
이 모델들은 추론 효율성이 압도적이다. Sabi-Noema는 기본 Qwen 대비 TB2.1에서는 응답당 토큰을 50%, DeepSWE에서는 25%나 덜 생성한다. Sabi-Noema-MLA는 여기서 한술 더 떠서 Qwen의 GQA 어텐션을 사후 MLA 변환까지 적용했다. 이 변환은 별도의 추가 학습 없이 보정 데이터셋만 사용한다. BF16 레이턴트를 쓰면 Sabi-Noema-MLA는 토큰당 필요한 바이트가 3.6배나 줄어든다. MLA 레이턴트를 FP8로 추가 압축하면 TB2.1 기준 KV 캐시 크기를 성능 저하 없이 8.4배까지 줄일 수 있다. 쉽게 말해, 3090이나 4090 같은 24GB VRAM GPU에서 Sabi-Noema-MLA를 q4_0으로 돌리면 컨텍스트를 약 534K까지 확보할 수 있는데, 기본 Qwen은 FP8 캐시로 돌려도 150K 정도가 한계다.
