r/vibecoding•3개월 전•13•8
Storyboard AI: 화이트보드 애니메이션 영상을 자동으로 제작하는 오픈소스 사이드 프로젝트
Storyboard AI: My open-source side-project to build E2E Whiteboard-Animation Videos
핵심 요약
주제만 입력하면 연구, 대본 작성, 이미지 생성, 애니메이션까지 자동으로 수행해 화이트보드 영상을 만드는 AI 프레임워크입니다.
- 자동화된 워크플로우 — 주제 입력 시 대본 작성부터 음성 합성, 자막 생성까지 전 과정을 자율적으로 처리함
- 비용 효율성 — 오디오와 영상 속도를 동적으로 조절해 API 호출 비용을 획기적으로 절감함
- 정확한 시각화 — 웹 검색과 참조 이미지를 활용해 사실에 기반한 화이트보드 스타일의 이미지를 생성함
- 확장성 고려 — SAM 3 모델을 활용한 정교한 드로잉 애니메이션과 다국어 지원 기능을 갖춤
https://github.com/yogendra-yatnalkar/storyboard-ai
아래 데모 영상은 전부 단 하나의 입력 프롬프트/지시어(제목 그 자체)만으로 자동으로 생성된 거임. ("What is El Nino and why is monsoon super late in India (strictly 5 scenes)")
이 프로젝트가 뭔데?
- Storyboard AI는 완전한 엔드투엔드 프레임워크임. 대략적인 주제나 맥락만 던져주면 알아서 다 함: 주제 조사, 몰입감 넘치는 내레이션 스크립트 작성, 비주얼 스토리보드 기획, 맞춤형 화이트보드 스타일 아트워크 생성, 그리기 과정 애니메이션화, 내레이션 음성 합성, 그리고 딱 맞는 타이밍에 자막 입히기까지 전부 다.
- 에이전트 방식으로 알아서 돌아감. 즉, '디렉터 에이전트'가 사용자 요청을 처리 가능한 장면 단위로 쪼개고, 전문 서브 에이전트나 툴에 작업을 넘긴 다음, 마지막에 이걸 전부 하나로 합치는 구조임.
그래서, 왜 굳이 이 분야에 또 다른 생성형 AI 프레임워크를 만든 거냐고?
- 💡 엄청난 비용 절감: 영상 길이 봐봐. 4개 장면으로 2분 29초나 됨. 화이트보드 스케치 경로를 내레이션 속도에 맞춰서 유동적으로 늘리고 조절하니까 API 비용이 엄청나게 아껴짐. 구글 Veo 모델은 딱 4개 애니메이션에만 썼고(그마저도 아예 뺄 수 있음!).
- 🔍 확실한 근거 기반 콘텐츠: 스크립트는 웹 검색 기반이고, 이미지 생성할 때도 구조적 정확도를 높이려고 인터넷 참조 이미지를 전부 활용함.
- 🌐 기본 다국어 지원: 프롬프트 번역, 스크립트 다듬기, 여러 언어(힌디어 포함)로 내레이션 합성까지 다 되고 자막도 완벽하게 박힘.
- ✏️ 스마트 화이트보드 엔진: GCP에 올라간 Meta AI의 Segment Anything Model 3 (SAM 3)를 써서 경계선을 따고, 그리기 과정을 획 단위로 실시간 애니메이션화함.
저 영상 만드는 데 돈 얼마나 들었냐고?
- 토큰 사용량 + GCP 비용 다 합쳐서 대략 13달러 정도 나옴.
- Veo 애니메이션 빼고 화이트보드랑 내레이션, 자막만 넣으면(그리는 손 애니메이션 포함 나머지는 다 똑같이 유지) 비용은 훨씬 더 줄어듦.
영상 제작 워크플로우:
- 웹 검색 (딥 리서치 아님): 엘니뇨랑 올해 인도 장마 관련 팩트 체크하려고 웹 검색 돌림.
- 근거 기반 이미지 생성: 장면의 시각적 정확도를 높이려고 인터넷 참조 이미지를 써서 맞춤형 화이트보드 일러스트를 뽑아냄.
