34M 파라미터의 경량 로컬 TTS, Inflect v3 공개 (Apache 2.0)
I released Inflect v3: lightweight local TTS in 34M parameters (Apache 2.0)
핵심 요약
34M 파라미터로 구동되는 경량 로컬 TTS 모델 Inflect v3가 Apache 2.0 라이선스로 공개되었습니다.
- 모델 구성 — Mini, Micro, Atom 등 다양한 크기의 모델군 제공
- 주요 기능 — 참조 음성 튜닝 및 웃음, 한숨 등 보컬 이벤트 태그 지원
- 라이선스 — Apache 2.0 기반의 오픈 소스 모델
- 호환성 — CPU 및 CUDA 환경에서 모두 구동 가능
오늘 Inflect v3를 공개한다. Mini, Micro, Atom으로 구성된 로컬 텍스트 음성 변환(TTS) 모델 시리즈야. Mini가 메인 모델이고, 6개의 음성에 34.31M 파라미터가 들어갔어.
Mini는 보컬 이벤트 태그, 레퍼런스 음성 튜닝, 48kHz 음질 향상 기능을 지원해. CPU랑 CUDA 둘 다 잘 돌아간다.
GitHub, 설치 방법, 예제: https://github.com/owenawsong/Inflect
플레이그라운드 체험: https://huggingface.co/spaces/owensong/Inflect-v3
Mini는 레퍼런스 음성 튜닝 기능을 지원하는데, 녹음 파일로 프로필을 만들어서 그 목소리로 음성을 생성할 수 있어. 이 기능으로 레퍼런스 음성과 꽤 비슷하게 맞출 수 있긴 한데, 모든 화자의 목소리를 완벽하게 복제하는 건 아니니까 참고해.
Inflect Mini V3는 다음과 같은 보컬 이벤트 태그도 지원한다: [laugh] · [sigh] · [gasp] · [cough] · [yawn] · [inhale] · [exhale] · [throat_clear]
원하는 위치에 태그를 넣으면 해당 소리가 나. 현재 태그는 반복 가능한 성능을 사용하는데, 그래서 태그를 계속 쓰면 변화가 좀 제한적일 수 있어. 그리고 태그가 주변 단어의 발화 방식에는 영향을 안 준다.
모델 라인업:
-
Mini: 34.31M 파라미터. 위에 언급한 기능들이 다 들어간 고품질 모델.
-
Micro: 11.79M 파라미터. 더 가벼운 신경망 음성 모델.
-
Atom: 157K 파라미터. 엄청나게 작은 학습 코어.
이 수치들은 합성 코어 기준이야. 프론트엔드랑 옵션 컴포넌트까지 합치면 전체 용량은 좀 더 늘어난다.
가중치랑 추론 코드는 Apache 2.0 라이선스야. 서드 파티 컴포넌트는 각자 라이선스를 따르니까 확인해 봐. 오디오 샘플, 벤치마크, 사용된 설정값은 모델 카드에 다 올려뒀어.
모델 모음: https://huggingface.co/collections/owensong/inflect-v3
