r/LocalLLaMA•4개월 전•22•6
아두이노와 Magenta Realtime 2로 만든 무한 음악 글리치
Infinite Music Glitch on my Arduino with Magenta Realtime 2
핵심 요약
ESP32와 맥북을 연동해 실시간으로 음악을 생성하고 제어하는 AI 음악 시스템을 구축함.
- 시스템 구성 — ESP32 마이크로컨트롤러와 맥북을 WebSockets로 연결하여 실시간 음악 생성함.
- AI 모델 활용 — MLX Whisper로 음성을 인식하고 Qwen 모델로 음악 스타일을 실시간 제어함.
- 상호작용 방식 — 사용자가 ESP32에 대고 말하면 음악 악기나 장르를 즉시 변경함.
- 오픈 소스 — GitHub와 Hugging Face를 통해 관련 프로젝트와 모델을 공개함.
ESP32 마이크로컨트롤러가 WebSockets를 통해 맥북과 통신하는 로컬 음성 AI 실시간 음악 시스템을 만들었습니다. 마이크와 스피커가 달린 작은 아두이노 기반 장치이고, 맥북 M4 Pro에서 Magenta Realtime 2를 로컬로 실행하여 오디오를 장치로 스트리밍합니다.
재밌는 점은 이 시스템이 에이전트 기반으로 대화가 가능하다는 겁니다. ESP32를 탭하고 말을 하면 MLX Whisper가 내용을 받아쓰고, VAD(음성 활동 감지) 후 Qwen 모델로 전달합니다. 모델은 드럼 추가, 로파이(Lo-fi) 음악으로 변경, 재즈 비밥 추가, 기타 제거, 악기 변경 등 어떤 도구를 호출할지 결정합니다.
GitHub 링크: https://github.com/akdeb/jambox
