r/LocalLLaMA•3개월 전•788•128
Gemma 4 31B와 대화하기!
Talking with Gemma 4 31B!
핵심 요약
Hugging Face에서 공개한 오픈소스 실시간 음성 대화 파이프라인 데모입니다.
- 오픈소스 파이프라인 — Nvidia parakeet, Gemma 4 31B, Qwen3TTS를 결합함
- 실시간 성능 — OpenAI 실시간 API를 대체할 수 있는 로컬 실행 가능 모델
- 클라우드 데모 — 웹 기반으로 즉시 체험 가능한 데모 환경 제공
- 하드웨어 최적화 — M3 맥북 프로 등 로컬 환경에서도 낮은 지연 시간 구현
안녕하세요! Hugging Face의 Andi입니다. 오늘 제가 가져온 건 완전히 오픈소스이고 테스트/풀/수정이 자유로운 데모입니다.
이건 다음 파이프라인을 생성하는 음성 데모입니다:
- Nvidia의 parakeet
- Gemma 4 31B (cerebras에서 서비스됨!)
- 제가 만든 Qwen3TTS용 커스텀 추론
눈 깜짝할 새에 웹을 보고 검색합니다.
전체 스택은 완전히 오픈소스이며, OpenAI의 실시간 API를 바로 대체할 수 있습니다. 로컬에서 실행할 수 있고, 저는 맥북 프로 M3 36GB와 Gemma 4 E4B로 비슷한 지연 시간을 얻었습니다.
영상에 나온 웹 기반 데모는 여기에 있으며, 모든 것이 클라우드에서 실행 중입니다.
팔로우해 주신 분들을 위해 말씀드리자면, 네, 이게 바로 reachy minis에서 실행되는 파이프라인입니다 :)
