r/LocalLLaMA•2개월 전•84•15
텐센트(Tencent)의 AuK-Flash · 허깅페이스
tencent/AuK-Flash · Hugging Face
핵심 요약
음성 생성 및 편집을 4단계로 빠르게 처리하는 1.5B 규모의 통합 음성 모델 AuK-Flash가 공개되었습니다.
- 통합 음성 모델 — TTS, 음성 편집, 향상, 분리 등 다양한 작업을 단일 인터페이스로 지원함
- 경량화된 성능 — 1.5B 파라미터 모델로 4단계 추론을 통해 빠른 속도를 구현함
- 다양한 편집 기능 — 감정, 억양, 속도, 음량 조절 및 비언어적 소리 제거 등이 가능함
- 오픈 소스 공개 — 허깅페이스와 모델스코프를 통해 공식 가중치를 배포함
huggingface.co
원문 사이트로 이동
AuK-Flash: 4단계로 끝내는 초고속 음성 생성 및 편집
-
arXiv : https://arxiv.org/abs/2609.08936
-
Full Paper : https://arxiv.org/pdf/2609.08936
-
Project : https://auk-project.github.io/
소개
AuK는 음성 생성과 편집을 위한 1.5B 파라미터 파운데이션 모델이야. 수백만 시간의 방대한 오디오 데이터를 학습했고, 제로샷(zero-shot) 및 지시어 기반 TTS, 콘텐츠 및 음향 편집, 준언어적(paralinguistic) 편집, 음성 향상, 음원 분리까지 전부 통합된 자연어 지시어 인터페이스로 처리할 수 있어. AuK는 크게 두 가지 버전으로 나뉘어:
| Model | Description | Weight |
|---|---|---|
| AuK | Base model for high-quality generation | 🤗 Hugging Face · 🤖 ModelScope |
| AuK-Flash | Distilled model for fast 4-step inference | 🤗 Hugging Face · 🤖 ModelScope |
이 저장소에는 4단계 추론으로 속도를 대폭 끌어올린 증류 모델, AuK-Flash의 공식 가중치가 포함되어 있어.
지원 작업
AuK는 모든 작업을 동일한 자연어 지시어 인터페이스로 수행해. 아래 표는 지원하는 작업들을 카테고리별로 정리한 거야. 간단한 설명과 함께 의 해당 섹션 링크를 달아놨으니, 지시어 템플릿이나 CLI, Python 예제 코드가 필요하면 참고해.