Claude로 애니메이션화한 손그림 스타일 뮤직비디오, 10만 줄의 코드와 2700장의 그림
Almost 100k lines of code and 2700 individual drawings for Claude to animate this hand-drawn style music video
핵심 요약
Claude와 Remotion을 활용해 10만 줄의 코드로 구현한 독특한 손그림 스타일의 뮤직비디오 제작기입니다.
- 기술 스택 — Remotion과 headless Chrome을 사용한 커스텀 색연필 엔진 구축
- 애니메이션 방식 — 3D 모델링 후 2D 손그림 스타일로 변환 및 12fps 적용
- 데이터 활용 — iPhone Live Link Face로 캡처한 얼굴 데이터를 Claude가 애니메이션화
- 제작 의도 — 전쟁으로 헤어진 연인의 서사를 담은 감성적인 음악과 영상 결합
"Claude가 내 뮤직비디오를 만들었다"는 트렌드가 시작된 이후로, 나는 Claude를 써서 모션 그래픽이나 threejs/blender 느낌 말고 다른 스타일로 애니메이션을 뽑아낼 수 있을지 계속 파보고 있었음. 몇 주 전에 https://www.reddit.com/r/vibecoding/comments/1x7rjrk/i_made_the_bubblegum_pop_video_a_few_days_back_i/에 손으로 그린 듯한 스타일로 애니메이션을 만든 영상을 올린 적이 있는데, 그땐 움직임이 좀 제한적이었거든. 이번 영상은 진짜 제대로 각 잡고 더 복잡한 움직임이랑 실제 노래하고 피아노 치는 퍼포먼스까지 구현해보고 싶었음. 결과물은 꽤 만족스러움.
제작 과정은 대충 이럼...
노래:
-
일단 내가 원하는 피아노 곡이랑 노래 구조를 짜고 가사를 썼음. 그 다음에 Claude랑 같이 다듬어서 좀 괜찮게 만들었지.
-
피아노랑 드럼 샘플을 녹음하고, 내가 직접 부른 노래 샘플을 녹음해서 Suno에 올렸음.
-
Suno가 그걸 지금 들리는 노래로 바꿔줌.
영상:
• Remotion(영상용 React)으로 만든 커스텀 색연필 엔진, headless Chrome으로 렌더링함. • 색지 위에 연필 선: 과거는 따뜻한 황갈색, 현재는 검은색. • 초당 12프레임("on twos"), 손으로 그린 애니메이션처럼 선이 일렁거림. • 캐릭터는 코드로 3D 모델링(전신 스켈레톤이랑 손 리깅)하고 2D 그림으로 납작하게 폈음. • 모션은 Claude가 레퍼런스 참고해서 포즈 투 포즈로 키 잡음. • 가수 Ada의 퍼포먼스는 내 아이폰에 있는 Unreal Engine의 Live Link Face 앱으로 내 얼굴을 캡처했음. ARKit 써서 얼굴이랑 움직임 데이터를 따는 방식임. Claude가 이 데이터를 기반으로 입 모양이랑 표정을 애니메이션으로 만들었음. • 피아노 치는 손은 내 피아노 MIDI랑 손 레퍼런스 참고해서 캡처함.



