Claude가 작곡한 피아노 곡과 이를 연주하는 3D 손 애니메이션

Claude Code를 써서 피아노 곡용 3D 비디오 렌더러를 하나 만들었다. u/V9011N이 만든 2D 피아노 애니메이터를 기반으로 작업했음. 영상에 나오는 곡인 Ember Fountain도 Claude가 직접 작곡한 거다.

하는 일: MIDI 파일을 넣으면 3D 손이 피아노를 치는 영상이 렌더링된다. 떨어지는 노트랑 오디오까지 다 포함됨. 브라우저 기반 스튜디오에서 스타일, 카메라, 화질을 고를 수 있고, 프레임 하나씩 미리보기 하거나 렌더링 대기열에 넣는 것도 가능하다.

작동 방식:

• 파이썬 스크립트가 MIDI를 손이랑 손가락 움직임으로 변환함.

• Blender 5.1 (Eevee)이 리깅된 손 모델로 프레임을 렌더링함. Blender Studio에서 무료로 배포하는 CC0 Human Base Meshes를 썼고, 스킨은 프로시저럴 방식으로 입혔다.

• FluidSynth로 오디오를 뽑고, ffmpeg로 프레임이랑 오디오를 합쳐서 영상으로 만든다.

이 영상 렌더링하는 데 RTX 4060으로 6시간 반 정도 걸렸다. 1080p 60fps로 9,439 프레임 뽑음. 중간에 Blender가 뻗기도 했는데, 다행히 멈춘 지점부터 다시 이어서 렌더링 되더라.

써보기: 무료고 오픈소스임: https://github.com/mrbobbrick/3D-piano-animator

파이썬, Blender 5.1, 그리고 GPU가 필요하다.