r/LocalLLaMA•약 4시간 전•73•19

Kokoro, 이제 약 600MB의 추가 VRAM만으로 모든 목소리를 복제할 수 있습니다!

Kokoro can now clone any voice with just ~600 MB of extra VRAM!

핵심 요약

Kokoro TTS와 OpenVoice ToneColorConverter를 결합해 적은 자원으로 목소리 복제 기능을 구현한 실험입니다.

기술적 구현 — Kokoro TTS와 OpenVoice를 결합한 any-tts 파이프라인 도입
리소스 효율성 — 약 600MB의 추가 VRAM으로 목소리 복제 기능 구현
성능 영향 — CUDA 환경에서 약 10% 속도 저하 발생
핵심 원리 — 기본 TTS 모델의 발음과 VC 모델의 음색 변환을 결합

오디오 모델 찾다가 OpenVoice라는 걸 발견했거든. 나온 지 좀 된 놈인데, 놀랍게도 아직 TTS 리더보드 상위권에 있더라.

눈길을 끈 건 구조였어. 기본적으로 TTS + 음성 변환(voice conversion) 방식이더라고. ToneColorConverter가 TTS 모델이랑 별개로 따로 돌아갈 수 있는 구조야.

그래서 생각 좀 해봤지. 다른 TTS 모델이랑 붙여보면 어떨까?

Kokoro랑 한번 돌려봤는데, 결과물 꽤 괜찮게 나오더라!

그래서 audio.cpp에 Kokoro랑 OpenVoice ToneColorConverter를 묶은 any-tts 레시피를 추가했어. 레시피는 v0.9.2부터 도입된 건데, 여러 오디오 모델을 조합해서 미리 정의해 둔 파이프라인 같은 거야.

오버헤드는 이 정도 돼:

~600 MB 추가 피크 VRAM
CUDA 기준 ~10% 속도 저하
CPU에서는 원래 속도의 0.5배 정도 나오지만, 그래도 실시간 대비 2배 속도는 뽑아줌

너희도 아무 작은 TTS 모델이나 골라서 ToneColorConverter랑 붙여봐. TTS 모델이 말하는 내용, 발음, 억양을 담당하고, VC 모델이 타겟 화자의 목소리 특징을 입히는 식이야. 기본으로 선택하는 목소리에 따라서도 최종 결과물 퀄리티가 달라질 수 있어.

기존 TTS 모델을 재학습시킬 필요 없이 음성 복제 기능을 달아줄 수 있는 아주 간단한 방법이지!

원문

커뮤니티 목록

r/LocalLLaMA•약 4시간 전•73•19

Kokoro, 이제 약 600MB의 추가 VRAM만으로 모든 목소리를 복제할 수 있습니다!

Kokoro can now clone any voice with just ~600 MB of extra VRAM!

핵심 요약

Kokoro TTS와 OpenVoice ToneColorConverter를 결합해 적은 자원으로 목소리 복제 기능을 구현한 실험입니다.

기술적 구현 — Kokoro TTS와 OpenVoice를 결합한 any-tts 파이프라인 도입
리소스 효율성 — 약 600MB의 추가 VRAM으로 목소리 복제 기능 구현
성능 영향 — CUDA 환경에서 약 10% 속도 저하 발생
핵심 원리 — 기본 TTS 모델의 발음과 VC 모델의 음색 변환을 결합

오디오 모델 찾다가 OpenVoice라는 걸 발견했거든. 나온 지 좀 된 놈인데, 놀랍게도 아직 TTS 리더보드 상위권에 있더라.

눈길을 끈 건 구조였어. 기본적으로 TTS + 음성 변환(voice conversion) 방식이더라고. ToneColorConverter가 TTS 모델이랑 별개로 따로 돌아갈 수 있는 구조야.

그래서 생각 좀 해봤지. 다른 TTS 모델이랑 붙여보면 어떨까?

Kokoro랑 한번 돌려봤는데, 결과물 꽤 괜찮게 나오더라!

오버헤드는 이 정도 돼:

~600 MB 추가 피크 VRAM
CUDA 기준 ~10% 속도 저하
CPU에서는 원래 속도의 0.5배 정도 나오지만, 그래도 실시간 대비 2배 속도는 뽑아줌

기존 TTS 모델을 재학습시킬 필요 없이 음성 복제 기능을 달아줄 수 있는 아주 간단한 방법이지!

주요 댓글

r/localllama

대체로 기술적 시도는 흥미롭다는 반응이나, 실제 복제 품질이 기대에 미치지 못한다는 비판적인 의견이 많습니다.

샘플 목소리들이 누군지 모르겠네? 만약 Pacino가 알 파치노고 Morgan이 모건 프리먼이라면, 복제 성능이 그냥 별로인 거 같은데.

참조용 WAV 파일이나 내장 목소리를 바꾸는 것만으로도 유사도 점수에 큰 차이가 날 수 있어. 좋든 나쁘든 말이지. 난 합성 음성을 참조로 썼는데 목소리 유사도 점수가 0.7에서 0.8 사이로 나왔어.

내 생각엔 VibeVoice가 여전히 복제 분야의 왕인 듯.

테스트해 본 결과, 로컬에서 무료로 상업적 이용 가능한 모델 중에서는 동의해.

현재 CPU에서 실시간으로 돌아가는 이 정도 급의 모델이 없다는 게 아쉽네. 너무 평범하게 들리지 않게 하는 건 꽤 잘하는데 말이야.

이 실험은 새로운 목소리 복제 모델을 만드는 게 아니라 기존 TTS 모델의 기능을 확장하는 데 초점이 맞춰져 있어. MioCode나 MeanVC 같은 다른 VC 모델을 써봐도 돼. 음정, 발음, 기타 말하기 특성은 대부분 기본 TTS 모델과 선택한 내장 목소리에 달려 있어.

목소리 유사도 점수는 0.7에서 0.8 정도야. 참조용 WAV 파일이나 내장 목소리를 바꾸는 것만으로도 유사도 점수에 큰 차이가 날 수 있어. 좋든 나쁘든 말이지.

u/DinnerMilk u/MustBeSomethingThere

최근엔 실험 안 해봤지만, 8개월 전쯤 Chatterbox로 훨씬 좋은 결과를 얻었었어. 유튜브에서 10초짜리 오디오 클립 써서 알아볼 만한 목소리 몇 개 복제했는데 정말 놀라웠지.

말하기 좀 그렇지만, 이번 Kokoro 예시는 진짜 엉망인 성대모사처럼 들려.

Chatterbox는 얼마나 커? 600MB면 꽤 괜찮아 보이는데. 난 VibeVoice를 썼는데 아주 좋긴 하지만 7b 모델이었거든.

Kokoro는 자기 역할은 잘하는데.. 이게 최선의 결과라면.. 굳이 쓸 이유가 있을까 싶네. 애초에 이런 용도로 만들어진 pocket tts 같은 걸 쓰는 게 나을 듯.

최고의 결과를 얻으려면 다른 내장 목소리를 시도해보고 더 좋은 참조 오디오 샘플을 써야 할 수도 있어. 예를 들어 같은 참조 오디오를 써도 am_michael은 화자 유사도 점수가 0.4인데, am_adam은 0.7까지 나오거든.

audio.cpp any-tts로 실행하는 방법 https://github.com/0xShug0/audio.cpp/blob/main/docs/recipes.md

그러니까 이걸 새로운 목소리 복제 모델이라고 생각하지 마. 작은 TTS 모델에 새로운 목소리를 추가하는 가벼운 방법이라고 생각해 줘. 게시물에서 언급했듯이, 말하기 품질과 발음은 여전히 기본 TTS 모델이 중요해. VC 모델은 주로 화자의 목소리 특성만 바꿔주는 거야.

프리먼이 솔리드 스네이크처럼 들리던데 ㅋㅋ

😂

원문r/LocalLLaMA