텐센트(Tencent)의 Hy-SimulMT-30B-A3B 모델 공개
tencent/Hy-SimulMT-30B-A3B · Hugging Face
핵심 요약
텐센트가 실시간 음성 통번역과 음성 복제를 지원하는 Hy-SimulMT 모델을 공개했습니다.
- 실시간 통번역 — 영중 양방향 음성 통번역을 지원함
- 음성 복제 — 화자의 목소리 특징을 유지하며 실시간으로 번역함
- 성능 지표 — 3초 미만의 StreamLAAL로 업계 최고 수준의 속도를 기록함
- 오픈 소스 — 추론 및 학습 도구를 포함한 리포지토리가 공개됨
huggingface.co
원문 사이트로 이동
https://huggingface.co/tencent/Hy-SimulMT-30B-A3B-GGUF
https://huggingface.co/tencent/Hy-SimulMT-30B-A3B-Interleave-GGUF
Hy-SimulMT는 텐센트 훈위안(Tencent Hunyuan)에서 개발한 실시간 동시통역 모델로, 중국어와 영어 간의 양방향 음성-음성 통역을 지원함. 들어오는 오디오를 끊김 없이 받아 화자가 말하는 즉시 통역을 수행하며, 통역된 텍스트와 음성을 동시에 출력함. 실시간 음성 복제(real-time voice cloning) 기술을 써서 화자의 목소리 특징을 그대로 살리면서 메시지를 정확하게 전달함.
회의, 연설, 인터뷰 같은 실시간 소통 환경을 겨냥해서 만든 거라, 대화 흐름을 끊지 않으면서도 정보를 정확하게 전달하는 게 핵심임. 통역 품질과 응답 속도 사이의 균형을 평가하려고 공개 벤치마크, 실제 오디오 데이터, 그리고 전문 동시통역사들과의 비교 분석을 진행했음.
RealSI 장문 오디오 평가에서 Hy-SimulMT는 StreamLAAL 약 3초를 기록했는데, 이건 비교 대상 시스템 중 가장 빠른 수치임. GEMBA 점수도 비교군에 포함된 오픈소스 모델들보다 높았고, 상용 API 5개 중 4개보다 뛰어난 성능을 보여줌.
GitHub 저장소에서 SimulInfer 추론 서비스와 SimulTrain 학습 도구를 제공함. 음성 출력과 음성 복제를 쓰려면 별도의 TTS 서비스 설정이 필요함. Hy Translate 앱에서도 Hy-SimulMT를 직접 써볼 수 있음.