Luth-2: 프랑스어 특화 최신 소형 언어 모델 공개
Luth-2: New State-of-the-Art French Small Language Models
핵심 요약
프랑스어 성능을 극대화한 0.8B 및 2B 크기의 소형 언어 모델 Luth-2가 공개되었습니다.
- 모델 성능 — 동급 모델 대비 프랑스어 벤치마크에서 압도적인 성능 기록
- 기술적 개선 — Qwen3.5 기반 및 SFT/RL을 통한 다분야 학습 강화
- 로컬 실행 — 온디바이스 환경에 최적화된 가벼운 모델 크기
- 데이터 공개 — SFT 및 RL 학습 데이터셋을 오픈소스로 제공
다들 안녕,
오늘 Luth-2-0.8B랑 Luth2-2-2B를 공개한다. 추론 모델은 아니고, 이 사이즈 체급에서 프랑스어 성능만큼은 압도적인 SOTA를 찍어버린 모델들이야 🚀
자기들보다 3배는 큰 모델들이랑 비교해도 프랑스어 벤치마크 점수가 아주 살벌함:
- Luth-2-2B: Multi-IF에서 69.67점 (Gemma-4-E2B-it은 65.17점)
- Luth-2-0.8B: MGSM-Rev2에서 72.92점 (granite-4.0-h-micro는 55.60점)
- Luth-2-2B: Math-500에서 81.52점 (Gemma-4-E2B-it은 81.24점)
Luth-2는 우리가 이전 작업에서 쌓은 노하우를 바탕으로 엄청나게 개선한 버전이야. 수학, 지식, 코드, 툴 콜링, 지시 이행, 멀티턴 대화, 과학 등 훨씬 넓은 도메인을 커버하는 3B 토큰 규모의 새로운 SFT 데이터를 섞어 넣었거든. 여기에 전문가 특화 강화학습이랑 다중 도메인 온-폴리시 증류(MOPD)까지 써서 모델 성능을 한계까지 끌어올렸다. 마지막으로 백본은 Qwen3.5로 갈아탔는데, 이게 확실히 사후 학습(post-training)을 먹였을 때 반응이 훨씬 좋더라고.
결과적으로 이 모델들은 같은 체급 내에서는 그냥 다 씹어 먹고, 훨씬 큰 모델들이랑 비교해도 꿀리지 않는 성능을 보여줌. 둘 다 가벼워서 온디바이스용으로 로컬에서 돌리기 딱 좋다. 더 넓게 보면, 지금 다국어 SLM들이 영어 말고 다른 언어, 심지어 프랑스어처럼 자원이 많은 언어에서도 아직 성능을 다 뽑아내지 못하고 있다는 걸 보여주는 결과이기도 해.
Luth-2-2B랑 Luth-2-0.8B는 지금 바로 허깅페이스에서 써볼 수 있어:
🤗 모델: Luth-2-0.8B | Luth2-2-2B | Luth-2-0.8B-GGUF | Luth2-2-2B-GGUF |
📚 데이터: Luth-2-Post-Training-SFT | Luth-2-Post-Training-RL
💻 코드: https://github.com/kurakurai/Luth-2
✏️ 블로그: https://huggingface.co/blog/MaxLSB/luth-2
🏆 프랑스어 리더보드:
