최고의 로컬 TTS 솔루션 추천

https://github.com/devnen/Chatterbox-TTS-Server

음성 복제랑 운율/준언어 기능까지 되는 건 이거 말고는 못 봤음. 지연 시간도 몇 초밖에 안 늘어나고 VRAM은 5GB 정도 먹음.

omnivoice, vulkan 지원, 0.5B 모델, 억양 잘 잡음 https://github.com/ServeurpersoCom/omnivoice.cpp

qwen3 tts를 원한다면 이거 쓰세요 https://github.com/ServeurpersoCom/qwentts.cpp

둘 다 PyTorch 지옥을 피하게 해줌.

https://github.com/canopyai/Orpheus-TTS 이거 쓰고 있는데, 실시간 어시스턴트 스트리밍용으로 gguf Q4_K_M 버전을 사용 중입니다. 9070 XT에서 Gemma 26b a4b Q4_K_P랑 조합하니까 메시지 보내고 2.5초 안에 응답이 재생되네요.

감정 표현이나 웃음소리 같은 것도 꽤 잘 구현합니다.

Qwen 3 TTS 진짜 대박이고 엄청 빠르고 잘 돌아갑니다. 1.7b 모델로 GTX 1660 Ti에서 5초짜리 일본어 음성 복제 클립을 8초 만에 생성해요. 2019년형 하드웨어 가속도 안 되는 카드인데 말이죠. 0.6 모델 쓰면 같은 클립을 4초 만에 뽑습니다.

물론 출력 품질 자체도 엄청나고요.

저는 SUB/WAVE라는 셀프 호스팅 라디오 방송국을 만들었는데 거기서 Kokoro를 쓰고 있어요. 로컬 LLM이 제 음악 라이브러리 위에서 DJ 역할을 하는 거죠. Kokoro는 가벼운 멘트 처리에는 괜찮은데, 음질이 중요한 부분(곡 소개나 샤라웃)은 Chatterbox를 선택적 사이드카로 연결해서 쓰고 있습니다.

Chatterbox는 그런 유스케이스에 딱이에요. 짧은 WAV 파일로 제로샷 복제가 가능하고, [laugh]나 [sigh] 같은 태그도 자연스럽게 처리하거든요. 단점은 좀 무겁다는 거(PyTorch 기반이라 5~6GB 정도)라서 옵션으로만 넣어뒀습니다.