r/LocalLLaMA•4개월 전•91•20
OpenMOSS-Team/MOSS-TTS-v1.5 · Hugging Face
핵심 요약
31개 언어를 지원하고 음성 복제 및 제어 기능이 강화된 MOSS-TTS-v1.5가 공개되었습니다.
- 다국어 합성 강화 — 언어 태그를 통해 31개 언어에서 더 안정적이고 정확한 음성 합성을 지원함.
- 음성 복제 개선 — 화자 유사도를 높이고 반복 생성 시 일관성을 유지하도록 복제 성능을 개선함.
- 정밀한 제어 기능 — 문장 내 일시 정지 마커와 구두점 기반의 자연스러운 억양 조절을 지원함.
- 신규 모델 출시 — 48kHz 고음질의 30초 분량 사운드 효과를 생성하는 MOSS-SoundEffect-v2.0을 함께 공개함.
huggingface.co
원문 사이트로 이동
MOSS-TTS-v1.5
MOSS-TTS-v1.5는 MOSS-TTS 1.0의 후속 버전입니다. 제로샷 음성 복제, 긴 문장 음성 생성, 토큰 단위 지속 시간 제어, 병음/IPA 발음 제어, 다국어 합성 및 코드 스위칭 등 1.0의 주요 기능을 그대로 유지합니다. 1.0의 전체 기능 설명, 입력 스키마, 디코딩 하이퍼파라미터 및 평가 표는 MOSS-TTS 1.0 README를 참조하세요.
MOSS-TTS 1.0과 비교하여 v1.5는 다음과 같은 개선 사항에 집중했습니다:
- 언어 태그를 통한 더 강력한 다국어 합성:
language필드를 생략하면 v1.5는 1.0에 비해 일부 언어에서 개선되거나 약간 퇴보할 수 있습니다. 언어를 지정하면 v1.5는 지원되는 거의 모든 언어에서 1.0보다 강력한 성능을 보입니다. 사용자 메시지를 구성할 때 태그를 설정하세요. 예:processor.build_user_message(text=text_fr, language="French"). - 더 안정적인 음성 복제: v1.5는 화자 유사도를 개선하고 복제 편차를 줄여 반복 생성 시 일관성을 높였습니다.
- 긴 참조 오디오와 짧은 텍스트 복제 성능 향상: v1.5는 참조 오디오가 대상 텍스트보다 훨씬 긴 시나리오를 1.0보다 더 안정적으로 처리합니다.
- 더 안정적인 구두점 기반 억양: v1.5는 특히 긴 문장에서 구두점에 따른 일시 정지를 더 정확하게 따릅니다.
- 명시적 일시 정지 제어: v1.5는
"[pause 3.2s]"와 같은 인라인 일시 정지 마커를 지원합니다. 예를 들어,我今天学习了一首中国的古诗，它的名字是[pause 3.2s]静夜思！는 3.2초의 명시적 일시 정지를 삽입합니다.
지원되는 언어
MOSS-TTS-v1.5는 현재 31개 언어를 지원합니다. MOSS-TTS 1.0에서 지원하던 20개 언어를 유지하며, 광둥어, 네덜란드어, 핀란드어, 힌디어, 마케도니아어, 말레이어, 루마니아어, 스와힐리어, 타갈로그어, 태국어, 베트남어를 포함한 추가 언어에 대한 다국어 지속 학습을 확장했습니다.
추가 모델도 함께 출시되었습니다.
