r/LocalLLaMA•약 2개월 전•122•41
아이폰에서 로컬로 구동하는 VibeVoice 1.5B! 메모리 약 2.2GB 사용, 최대 1.28배 실시간 속도
VibeVoice 1.5B Running Locally...On an iPhone! Only ~2.2 GB of Memory and Up to 1.28× Real-Time Speed
핵심 요약
아이폰에서 2.2GB 메모리로 VibeVoice 1.5B 모델을 실시간 구동하는 데 성공한 개발자의 프로젝트 공유.
- 아이폰 구동 — 2.2GB 메모리 환경에서 VibeVoice 1.5B 모델을 실시간으로 실행함.
- audio.cpp 프로젝트 — 성능 최적화와 엣지 디바이스 지원을 목표로 하는 프레임워크를 개발 중임.
- 오픈 소스 공유 — 추후 xcframework와 소스 코드를 공개하여 누구나 빌드할 수 있도록 할 예정임.
- 커뮤니티 반응 — 기술의 상용화와 로컬 구동 가능성에 대해 긍정적인 반응과 토론이 이어짐.
지루하실까 봐 데모의 생성 부분을 빠르게 편집했습니다 😄
다른 긴 형식의 생성 테스트도 해봤는데 VRAM 사용량은 안정적이었습니다. 데모는 약 1분 분량이며 X에 게시했습니다.
이건 우연한 아이디어에서 시작했는데, 어쩌다 보니 audio.cpp 다음 릴리스 작업에서 완전히 벗어나 딴길로 새게 되었네요. 모델은 audio.cpp HF 레포에 업로드했습니다. 나중에 xcframework를 업로드하고, 0.6 릴리스 이후에 코드를 브랜치에 푸시할 예정입니다.
