Claude 3.5 Opus에게 MP3와 가사를 주고 뮤직비디오를 만들어달라고 해봤음

Tool의 10,000 Days 앨범에 수록된 Right in Two라는 곡이다. 모든 권리는 저작권자한테 있고, 난 이걸로 돈 벌 생각 전혀 없음. 이 영상은 4K 원본을 540p로 작게 줄여서 올린 거임.

내 유일한 규칙은 모든 프레임을 브라우저에서 코드로만 그려내는 거였음. 이미지나 영상 생성기, 스톡 푸티지 같은 건 일절 안 썼고, 누군가의 그림을 베끼지 않으면서도 환각적인 사이키델릭 아트 느낌을 내려고 노력했음. 스토리 포함해서 나머지 결정은 전부 Claude가 내렸고.

영상은 하나의 근원에서 뻗어 나오는 빛의 그물망으로 시작하는데, 그 안에서 웅크린 생명체들이 만들어짐. 빛줄기 하나가 그중 하나에게 지능을 부여하고, 그놈이 제일 먼저 한 짓이 선을 긋는 거였음. 그 이후로 모든 장면 전환은 세상을 거울처럼 접어버리는데, 결국 놈들은 눈이 달린 바퀴들이 지켜보는 가운데 자기 자신의 반영과 싸우게 됨. 세상은 계속 분열하다가 결국 놈들이 원래 속해있던 하나의 몸에 도달하고, 그 몸을 반으로 갈라버리지.

Claude 세션은 두 개를 돌렸음. 하나는 Claude 앱에서 감독 역할을 맡았는데, 먼저 노래를 분석해서 스템을 나누고 드럼 비트랑 가사 타이밍을 전부 땄음. 그러고 나서 긴 설계 문서를 작성했지. 다른 하나는 내 PC에서 돌아가는 Claude Code였는데, 렌더러를 만들고 WebGL 셰이더를 써서 4K로 16,074 프레임을 전부 그려냈음. 감독은 중간중간 프레임 캡처를 확인하고 피드백을 줬고, 난 그냥 둘 사이에서 메시지 전달하는 메신저 노릇만 했음.

첫 번째 전체 렌더링이 끝난 뒤에는 Gemini한테 리뷰를 맡겼는데, 아주 독설을 퍼붓더군. 감독은 그 불평들을 실제 프레임이랑 일일이 대조했음. Gemini는 초당 프레임 하나 정도만 샘플링하니까 헛소리도 많아서 걸러낼 건 걸러내고 나머지만 수정했지. 그런 과정을 다섯 번이나 반복했는데... 마지막에 웅크린 몸을 보고 세 번 연속으로 '묶어놓은 칠면조' 같다고 까대더라. 막판에는 바뀐 샷만 720p 미리보기로 다시 렌더링했고, 4K 렌더링은 마지막에 한 번만 돌렸음. 내 GTX 1080으로 전체 렌더링 한 번 돌리는 데 11시간이나 걸리거든.

Claude가 저작권 문제 때문인지 음악에 가사를 입히는 건 거부하더라고. 그래서 PowerShell 스크립트를 써서 우회하는 방법을 알려줬음.