Omni Voice는 현재 가장 빠르고 뛰어난 음성 복제 TTS임. 전부 다 써보고 하는 말임.

스토리북, 에이전트 등등 활용 사례는 널려 있지. 근데 내 주 목적은 Elevenlabs에 비빌 만한, 음성 복제 성능 쩌는 TTS를 찾는 거였어.

내가 TTS 성능 테스트할 때 꼭 돌려보는 음성 리스트가 있는데, 특히 억양 처리를 어떻게 하는지 보면 그 모델의 범용성을 바로 알 수 있거든. 너희도 한번 해봐. 모델의 약점이 바로 드러날 거야. 억양 테스트하기 좋은 배우들은 Rebecca Ferguson, Charlotte Rampling, Mariangela Melatto(이건 모델들 다 죽이는 수준임), 그리고 Ornella Muti 정도가 있어.

만화 캐릭터의 가짜 억양이나 특이한 억양 테스트하는 것도 좋아해. 내가 제일 즐겨 쓰는 건 Morgan Lofting이 연기한 Baroness야. 특정 문화권 기반 억양이 아니라서 모델들이 어디 억양인지 파악도 못 하고 따라 하기도 엄청 힘들어하거든.

남자 목소리 쪽은 듄에 나오는 Javier Bardem의 Stillgar나 Jeff Goldblum이 연기한 거 아무거나(더 플라이 커피숍 장면 독백이 죽여줌) 가져다가 모델 성능 평가해보면 돼.

내가 이 음성들이랑 다른 것들을 Moss-TTS, Breeze-TTS, Chatterbox-TTS, VibeVoice, Fish Audio S2 Pro, Omni Voice 같은 요즘 잘나가는 TTS 모델들에 다 돌려봤거든.

결론부터 말하면, 그중에서 억양 테스트 전부 통과한 건 Omni Voice밖에 없었어. 대부분 모델이 제일 힘들어하는 게 Baroness랑 Mariangela Melatto인데, 이걸 완벽하게 잡아내더라고. 심지어 내가 5초짜리 샘플만 넣었는데도, 원본에는 없던 혀 굴리는 소리(trill)까지 살려서 발음하길래 진짜 깜짝 놀랐다.

또 놀랐던 건, 보통 "하이엔드" 오픈 소스 모델로 추앙받는 Fish Audio S2가 테스트에서 광탈했다는 거야. Omni Voice 다음으로 근접했던 건 Breeze-TTS였는데(그래도 억양 완벽 재현은 실패함), Fish Audio보다는 확실히 나았어. 이것도 좀 충격이었지.

근데 Breeze는 시드 값에 따라 느낌이 좀 달랐어. 어떤 건 Mariangela의 이탈리아 억양을 흉내 내려고 엉뚱하게 인도 억양을 섞어버리는 식으로 비슷하게 흉내 내는 거라 완벽한 매칭은 아니었거든. 그래도 5초짜리 샘플만으로 혀 굴리는 소리 추가할 수 있는 모델은 이게 유일했어.

억양 재현도 말고도 Omni Voice가 압도적으로 빨랐어. 오디오 생성 속도가 차원이 다르더라. 여러 문단으로 된 텍스트를 한 번에 생성하는 원샷 성능도 훨씬 좋았어. 다른 모델들은 중간에 렉 걸리거나, 일찍 끝나버리거나, 아예 목소리 매칭을 실패하는 경우가 많았거든.

물론 Omni Voice가 완벽한 건 아냐. 모든 TTS가 그렇듯 가끔 노이즈(artifact)가 섞일 때가 있어. 감정이나 표현을 조절하는 설정 옵션도 다른 모델들에 비해 좀 부족한 것 같고. Breeze나 Fish, Moss 같은 애들이 소리는 더 깔끔하게 들리긴 해(Moss는 성능이 영 별로지만). 근데 Omni는 발음의 명료함이 달라. Omni가 원샷 표현력, 특히 억양 쪽에서는 훨씬 뛰어나. 첫 시도 만에 바로 써먹을 수 있는 결과물이 꽤 많이 나오더라고.

한 가지 더, Omni가 판타지 고유 명사나 개념 발음하는 게 진짜 미쳤어. 내가 SF/판타지 작가라서 쓴 단어들이 철자대로 읽히지 않는 경우가 많은데, Omni는 내 의도를 거의 90% 확률로 잡아내. 다른 모델들은 잘해봐야 55~75% 수준이거든. 언어 지원 범위가 넓어서 그런가 싶기도 해. 뭐 발음이 항상 일관적인 건 아니지만, 그럴 땐 리롤(re-roll) 한두 번 돌리면 해결돼.