r/LocalLLaMA•약 5시간 전•128•29

새로운 TTS의 왕 등장: Fish의 Drama 3 35B3A!

New TTS king in town: Fish's Drama 3 35B3A!

핵심 요약

Fish Audio에서 공개한 대규모 MoE 기반 TTS 모델 'Drama 3'에 대한 커뮤니티의 뜨거운 반응.

Drama 3 모델 — 35B3A 구조의 대규모 MoE TTS 모델로 뛰어난 성능을 자랑함
다양한 기능 — 16명의 화자 지원 및 감정 태그와 수정 지시어 기능 포함
로컬 실행 가능 — 4비트 양자화를 통해 로컬 환경에서도 원본에 가까운 품질로 구동 가능
향후 기대감 — 대규모 모델 외에도 경량화된 MoE 모델에 대한 사용자들의 요구 존재

어제 Fish에서 이 끝내주는 텍스트 음성 변환(TTS) 모델을 공개했길래, 하루 종일 붙잡고 아주 괜찮은 데모를 하나 만들어봤다 :D 모델이 덩치가 좀 큰 MoE(35B3A) 방식이긴 한데, DGX Spark에서도 아주 잘 돌아가네. 4bit 양자화 버전도 원본이랑 거의 차이가 없어. 여기서 직접 써보거나 https://huggingface.co/spaces/fishaudio/Drama-3 모델 다운받아서 로컬에서 돌려봐 🤗

원문

커뮤니티 목록

r/LocalLLaMA•약 5시간 전•128•29

새로운 TTS의 왕 등장: Fish의 Drama 3 35B3A!

New TTS king in town: Fish's Drama 3 35B3A!

핵심 요약

Fish Audio에서 공개한 대규모 MoE 기반 TTS 모델 'Drama 3'에 대한 커뮤니티의 뜨거운 반응.

Drama 3 모델 — 35B3A 구조의 대규모 MoE TTS 모델로 뛰어난 성능을 자랑함
다양한 기능 — 16명의 화자 지원 및 감정 태그와 수정 지시어 기능 포함
로컬 실행 가능 — 4비트 양자화를 통해 로컬 환경에서도 원본에 가까운 품질로 구동 가능
향후 기대감 — 대규모 모델 외에도 경량화된 MoE 모델에 대한 사용자들의 요구 존재

주요 댓글

r/localllama

Fish Audio의 새로운 TTS 모델에 대해 전반적으로 뛰어난 성능을 인정하면서도, 보이스 클로닝의 정교함이나 높은 하드웨어 요구 사양에 대해서는 의견이 갈리고 있습니다.

와, 연구소에서 제대로 작정하고 만든 대규모 MoE TTS를 기다리고 있었는데. 이거 진짜 멋지네요! 그래도 더 작은 MoE 모델도 파인튜닝해주면 좋겠어요... 아주 작은 모델 같은 걸로요.

정말 좋은 모델이네요. 같은 (매우 긴) 대본에서 최대 16명의 화자를 지원하고, 일반적인 [웃음] 발화나 [슬픔] 감정 태그뿐만 아니라, 음성을 원하는 대로 점진적으로 수정할 수 있는 "조금 더 슬프게" 같은 수정 지시어도 지원합니다. 다국어 음성 복제도 가능하고요.

첫 번째 여자 목소리 완전 술 취한 것 같은데

모델 어디 있음?

지금까지 본 것 중 최고임.

관심 있는 사람들은 램 48GB가 필요하다는 점 참고해. 근데 24GB만 필요한 INT4 버전도 있으니까(내 3090으로 테스트해 볼 예정).

정말 마음에 들어요. 드디어 소리 좋은 새로운 모델이 나왔네요. 괄호로 된 효과음 태그 목록이 얼마나 방대한지 궁금한데, 부디 아주 많았으면 좋겠어요. 다른 오픈 소스 TTS들처럼 제한적일까 봐 걱정되긴 하지만요.

난 HF 유료 구독 중인데도 HF 스페이스가 아예 작동을 안 하네.

드디어 HF 스페이스 작동하네.

고품질 보이스 클로닝을 원한다면 이건 아님. 보이스 클로닝 재현도가 꽤 떨어짐.

솔직히 말해서 얘네는 클로닝 자체보다는 드라마틱한 목소리에 집중하고 있긴 한데, 그래도 정확한 클론이라기보다는 참조 목소리의 사촌 격인 느낌임.

참조 클립: https://voca.ro/1dJnR1yGW9m9

3060ti로 잘 돌아갈까?

원문r/LocalLLaMA