Kitten-TTS 2: 새로운 오픈소스 SOTA 1.58비트 TTS (CPU 전용, 음성 복제, 다국어, 감정 제어 지원)
Kitten-TTS 2: New Open-source SOTA 1.58 bit TTS (CPU-only with voice cloning, multilingual, emotion control)
핵심 요약
CPU에서 실시간으로 작동하는 세계 최초의 1.58비트 오픈소스 TTS 모델인 Kitten-TTS 2가 공개되었습니다.
- Ternary 가중치 — 1.58비트 가중치를 사용하여 CPU에서도 매우 빠르고 효율적인 추론 가능
- 실시간 성능 — 별도의 GPU 없이도 소비자용 CPU에서 실시간 음성 생성 지원
- 음성 복제 — 5초 미만의 샘플로 감정과 억양까지 살리는 제로샷 복제 가능
- 다국어 지원 — 20개 이상의 언어를 지원하며 교차 언어 복제로 억양 생성 가능
KittenML에서 방금 Kitten-TTS 2 코드랑 가중치를 공개했는데, 이거 진짜 개쩌는 효율을 보여주는 최첨단 TTS 모델이고 세계 최초의 1.58비트 TTS 모델임.
CPU만으로 실시간 구동 가능하고, 제로샷 음성 복제, 다국어 지원, 감정 및 강조 조절까지 다 됨. 코드랑 가중치 전부 오픈소스임. Ternary(1.58비트) 가중치 덕분에 로컬에서 돌리거나 직접 서버 구축해서 쓰기에도 비용이 엄청나게 저렴함.
Github: https://github.com/KittenML/KittenTTS
Hugging Face: https://huggingface.co/KittenML/kitten-tts-2
KittenML's Discord: https://discord.com/invite/VJ86W4SURW
주요 특징 및 장점
-
Ternary TTS: 모델 본체의 모든 선형 가중치가 세 가지 값(-1, 0, +1) 중 하나로 되어 있고, 스케일 그룹 사이즈는 128임. 용량도 작고 CPU 추론 속도도 개빠름. 모델 파라미터는 1.7B 수준.
-
CPU랑 일반 소비자용 GPU에서도 실시간 구동: 실시간 생성하려고 굳이 비싼 GPU 살 필요 없음. CPU 추론을 위한 최적화된 Ternary 커널도 제공함.
-
표현력 쩌는 음성 복제: 5초 미만의 레퍼런스 오디오만 있으면 제로샷 복제 가능하고, 말투나 억양 같은 표현력도 그대로 살려줌. 파인튜닝 같은 귀찮은 짓 안 해도 됨.
-
다국어 TTS: 20개 이상의 언어로 음성 복제 지원함. 언어 간 음성 복제 기능을 쓰면 외국어 억양 섞인 말투도 만들 수 있음.
-
표현력 및 강조 조절: 단순히 목소리만 고르는 게 아니라, 말하는 방식이나 특정 단어에 강세를 넣어서 조절할 수 있음. 자세한 건 Readme 참고.
-
오픈소스 (개꿀!): 코드랑 가중치 전부 오픈소스라 무료로 쓸 수 있음. GPU 거지들을 위한 ElevenLabs의 오픈소스 대안이라고 보면 됨. 직접 배포하거나 로컬에서 돌리기도 존나 쉬움.
