HermesConsole: 저지연 스트리밍 STT/TTS 서버인 VoiceManager 데모 공개 (MIT 라이선스, 클라이언트 문서 및 파이썬 클라이언트 포함)
HermesConsole: A demo showing off VoiceManager, my low latency streaming STT / TTS server. MIT, client docs, and python client.
핵심 요약
로컬에서 구동되는 저지연 음성 대화 시스템 VoiceManager와 LCARS 스타일의 HermesConsole 데모가 공개되었습니다.
- 저지연 음성 대화 — 웹소켓을 통해 로컬에서 실시간 STT/TTS 스트리밍 지원
- 기능적 특징 — barge-in(끼어들기) 대화, 문맥 유지, 도구 호출 및 마크다운 표시 가능
- 오픈 소스 — MIT 라이선스로 공개되었으며 파이썬 클라이언트 및 통합 문서 제공
- 사용자 인터페이스 — 스타트렉 LCARS 스타일의 콘솔 앱으로 시각적 경험 제공
다들 안녕! 드디어 이걸 커뮤니티에 공유하게 돼서 진짜 기쁘다. VoiceManager는 게임 컨셉이랑 내 AI 비서들을 지원하려고 지난 3월부터 만들기 시작했어. 나중에 할 프로젝트의 부품들을 만들려고 스타트렉에서 영감을 받아서 구상한 앱이야.
로컬에서 돌아가는 저지연 스트리밍 음성 대 음성(speech to speech) 방식이고, WebSocket 하나로 스트리밍해. 기본 설정은 Nemotron이랑 Breeze TTS 2를 사용하는 특수 audio.cpp 사이드카를 써.
VM은 끼어들기(barge-in)가 가능한 턴제 대화를 지원해. 에코 캔슬링이 까다로워서 끼어들기 기능은 기본적으로 꺼져 있어. 태블릿 업데이트 때문에 하드웨어 AEC가 맛이 가서 토글 기능을 추가했거든.
클라이언트 통합 문서랑 파이썬 클라이언트도 다 준비해 뒀어. 네 에이전트에 목소리를 입힐 때 써봐. 콘솔 앱은 코틀린으로 작성된 클라이언트 레퍼런스 역할을 해.
영상 내용:
- 웨이크 워드("hey computer")로 대화를 시작해. 웨이크 워드는 태블릿에서 돌아가.
- 답변은 문장 단위로 음성 스트리밍돼서 돌아와.
- 답변 아래 패널에 이미지랑 마크다운 문서가 떠.
- 툴 호출은 앱으로 다시 전달돼. 영상에서는 볼륨 설정을 보여주고 계산기를 열고 닫는 걸 볼 수 있어.
- 말하는 도중에 끼어들어서(barge-in) 답변을 끊어버려.
- 세션은 턴 사이에도 문맥을 유지하고, 지난 세션들은 기록을 보관해.
VoiceManager:
https://tacotakumi.github.io/VoiceManager
https://github.com/TacoTakumi/VoiceManager
HermesConsole: https://github.com/TacoTakumi/HermesConsole
관심 가져줘서 고맙고, 궁금한 거 있으면 뭐든 물어봐.
콘솔 앱에 대한 자세한 내용은 여기서 읽어볼 수 있어: https://www.reddit.com/r/hermesagent/comments/1xafq1e/hermesconsole_an_lcars_style_voice_console_for/
