음성 에이전트용 TTS로 다들 뭐 쓰시나요? 지연 시간 때문에 미치겠네요

대부분의 TTS 벤치마크는 제가 진짜 신경 쓰는 부분에 답을 못 줍니다. 예를 들어... 깨끗한 샘플에서 목소리가 좋게 들리는 건 좋죠. 근데 실제 통화 흐름 안에서는 어떻게 되나요? 제가 보고 싶은 건: TTFB, p95/p99 지연 시간, 스트리밍 시작 시간, 부하 시 일관성, LLM 응답이 아직 들어오는 중일 때의 동작, 동시성 발생 시 무작위로 튀는지 여부입니다. 에이전트가 살아있는 것처럼 느껴질지 어색할지를 결정하는 건 바로 이런 것들입니다.

에이전트(보이스오버 아님)용으로 실제로 테스트해 볼 목록: Cartesia, Murf Falcon, Deepgram Aura, ElevenLabs(기본값이 아닌 플래시/터보 모드), OpenAI TTS. 세 가지 지표: TTFB, 부하 시 스트리밍 안정성, 50회 실행 시의 편차. 이 용도에서는 남들의 MOS나 '자연스러움' 점수는 무시하세요, 다 소음입니다. '대화가 살아있는 것처럼 느껴지는가'를 최적화해야 하고, 그건 지연 시간 + 일관성입니다.

Sonic 3.5나 Gemini flash 같은 실시간 모델 추천함

봇 글이네

지연 시간 문제는 TTS 제공업체만의 문제가 아님. 전체 파이프라인이 중요함. 아무리 빠른 음성 모델이라도 LLM이나 전화 통신에서 지연 생기면 느리게 느껴짐. 데모 말고 실제 통화로 다 테스트해보는 걸 추천함. 약간 덜 자연스럽더라도 반응 속도 빠른 게 훨씬 나은 경험을 줌.

STT에서 억양 문제보다 TTS 렉이 더 치명적이지. 공감함.

TTS 지연 시간 자체보다는 '입에서 귀까지(mouth-to-ear)' 걸리는 지연 시간을 측정하는 게 더 유용하더라고요. 실제 전화 통화에서 정적(dead air)은 턴 종료 감지, 전사 완료, 모델의 첫 토큰 생성 시간, 합성할 텍스트가 충분히 모일 때까지 기다리는 시간, TTS의 첫 오디오 생성 시간, 혹은 통신 버퍼 등 어디서든 발생할 수 있거든요. TTS 제공업체가 아무리 빨라도 다른 구간이 느리면 소용없습니다. 저는 각 구간을 따로 계측해서 전체 턴에 대한 추적 데이터를 유지하고 있어요. 그러고 나서 짧은 대화로 p50, p95, 최악의 경우를 테스트합니다...

나는 생각하는 과정이나 에이전트 워크플로우가 지금은 더 중요해서 실시간 TTS는 일단 접어뒀지만, kokoroTTS가 나왔을 때 거의 제로 레이턴시를 보여준 아주 좋은 프로젝트들이 있었어(난 그때 XTTS를 쓰고 있었는데, 이건 훨씬 느리지만 퀄리티는 훨씬 좋았지). 기본적으로 모델 속도보다는 데이터 흐름을 어떻게 처리하느냐가 더 중요해: 턴, 분할 같은 것들 말이야. 내가 오늘날 기준으로 꽤 느린 모델을 썼음에도(사실 지금도 쓰고 있지만) 레이턴시 문제는 그렇게 크지 않았어.

보이스 에이전트에서 레이턴시의 스윗 스팟은 보통 첫 바이트가 300ms 미만으로 나오는 스트리밍 우선 TTS야. 난 영어는 ElevenLabs Turbo v2.5, 스페인어는 Cartesia Sonic으로 재미를 좀 봤는데, 둘 다 LLM이 생성 중일 때 청크 단위로 스트리밍을 해줘. 전화 음질이 안 좋다는 네 말은 진짜 공감해. STT 신뢰도가 떨어지면 TTS 페이싱이 순식간에 이상해지거든. 전체 응답을 기다리는 것보다 병렬 LLM 스트리밍이랑 문장 단위 TTS 청킹을 조합하는 게 나은지 테스트해 볼 가치가 있어.