[audio.cpp] 놓치지 말아야 할 최근 업데이트: Higgs Audio TTS VRAM 48% 절감(6GB 미만), HTDemucs 2.2배 및 PocketTTS 2.2배(CPU) 속도 향상, WebUI 생성 기록 기능 추가

모든 모델을 통합된 환경에서 쓸 수 있게 해줘서 감사합니다.
모델 믹스 커스터마이징 기능을 추가할 수 있을까요? 모델에 따라 GGUF 2~3개가 필요한 경우가 있는데, 보통은 '전부 Q4'나 '전부 Q8' 식으로 통일되더라고요. 하지만 VRAM 한도 내에서 유지하기 위해 중요도에 따라 일부는 BF16으로, 나머지는 Q8이나 Q4로 섞어서 쓰고 싶습니다. 현재는 설정이 GUI에 반쯤 하드코딩되어 있는 것 같은데, 이 부분을 리팩토링할 좋은 동기가 될 것 같습니다.

네, GUI는 보통 검증된 몇 가지 양자화 조합만 노출하고 있습니다. 문제는 모델마다 다양한 K-quant 조합을 테스트하는 게 시간이 너무 많이 걸린다는 점이죠, 특히 이 프로젝트의 진행 속도를 고려하면요. 보통은 저희가 기본 양자화 옵션을 제공하고, 사용자들이 직접 테스트해서 잘 작동하는 조합을 제안해주시면 사양에 추가하거나 사용자가 직접 추가하는 방식으로 운영하고 있습니다.

TTS 업데이트로 VRAM 사용량이 줄어든 건 롤플레잉 모델이랑 같이 돌릴 때 유용해 보이네요. 컴패니언 챗용으로 다른 옵션들과 비교했을 때 음질은 어떤가요?

음질은 주관적인 영역이라, 특히 톤이나 표현력이 중요한 컴패니언 챗에서는 더 그렇습니다. WebUI의 Arena 기능을 써서 같은 텍스트로 모델들을 비교해보고 본인 사용 사례에 가장 잘 맞는 걸 찾아보세요.

(데모가 너무 오래된 건 알지만... 새로 만들기 귀찮아서요...)

긴 글 생성할 때 WebUI가 내부적으로 청크를 나누고, 다 생성한 뒤에 합쳐서 최종 결과를 주는 방식 맞죠? 나중에 WebUI 업데이트로 청크를 합치기 전에 검토하는 기능을 추가할 수 있을까요? 청크는 그대로 생성하되, 아래에 하나씩 보여주는 식으로요. 가능하다면 파형을 보면서 특정 부분을 잘라내거나, 재생성하거나, 해당 부분의 입력 텍스트를 바꿔서 다시 시도하는 등의 편집 버튼이 있으면 좋겠어요. 마지막으로 청크 사이에 선택적으로 무음을 넣어서 합치고요. 긴 글 작업할 때 문제 있는 부분만 수정할 수 있어서 정말 좋을 것 같습니다.

업데이트 다시 한번 감사드립니다. 제 생각에 이 프로젝트가 TTS 분야에서 최고예요.

네! UI를 확장해서 진짜 스튜디오처럼 느껴지게 만들 예정입니다(서버 바이너리 크기만 너무 커지지 않는다면요). 청크 미리보기는 정말 좋은 기능이네요!

롤플레잉 챗에서 PocketTTS CPU 속도 향상이 있으면 제가 예전에 컴패니언 앱에서 쓰던 구형 TTS보다 지연 시간을 확실히 줄일 수 있겠네요.

u/OverTune1590 u/Over_Possibility7875 롤플레잉 챗 관련해서 이번 주말에 뭔가 합칠 예정입니다. 아이디어는 간단해요. 가벼운 TTS와 음성 변환을 결합한 OpenVoice 설계를 따르는 건데, 저는 이걸 'Any TTS'라고 부릅니다. 새로운 모델은 아니고 audio.cpp에 있는 기존 모델들로 만든 작은 파이프라인이에요. 본질적으로 Piper나 Kokoro 같은 모델에 음성 복제 기능을 부여하면서도 여전히 매우 빠르게 작동하게 만들 수 있습니다.