"Talk Show Host" [ft. Jibaro의 Sara Silkin] - 이게 모션 캡처의 미래일까? + 제작 과정 분석

안무 및 퍼포먼스: Sara Silkin
VFX: 본인

Sara와 협업해서 아이폰으로 찍은 이 멋진 퍼포먼스 영상을 다각도 시청각 작품으로 탈바꿈해 봤음.

비싼 장비나 거창한 제작 예산 같은 거 하나도 안 썼음. 그냥 플랫폼 하나랑 편집 소프트웨어만 있으면 끝. [몇 년 전이었으면 수천 달러는 깨졌을 작업임.]

작업 과정:

일단 원본 댄스/퍼포먼스 영상을 가져와서, 레퍼런스 이미지의 카메라 앵글을 쓰고 싶으면 3~10초 단위로, 원본 영상의 앵글을 살리고 싶으면 최대 30초 단위로 잘랐음.

그다음 Uisato Studio의 Kling Motion Control 모드를 써서 영상에 효과를 입혔음.

입력값은 다음과 같음:

1. 레퍼런스 영상으로 원본 퍼포먼스 영상 사용.

2. 각 섹션마다 로봇/바이오테크 느낌이 나는 타겟 이미지를 레퍼런스 이미지로 사용. "캡처 프레임" 기능을 써서 Gemini로 입력 영상의 프레임 하나를 변형해도 되고, 직접 만든 변형 [레퍼런스] 이미지를 가져와도 됨. 아까 말했듯이, 여기서 변형된 장면에 다른 시점을 적용할 수 있음.

3. 모션 트랜스퍼 외에 내가 원하는 걸 설명하는 짧고 [균형 잡힌] 프롬프트: "아방가르드한 휴머노이드 안드로이드가 춤을 추는 (...)" / "원래 춤 동작은 유지하면서 미세하게 로봇 같은 정밀함을 추가해 줘 (...)"

4. 기본 "std" Kling-3 모델도 성능은 훌륭하지만, 전체적으로 미세하게 더 나은 퀄리티를 뽑으려고 "pro" 모델을 썼음.

나중에 편집할 때 섹션 간 전환을 부드럽게 하려고 모든 섹션의 시작과 끝에 [10] 프레임 정도 겹치게 설정해 뒀음.

작품의 특정 부분은 같은 샷이라도 여러 버전으로 만들려고 섹션을 복제하기도 했음.

세팅 다 끝내고 클립들을 한 번에 쫙 뽑은 다음, 편집 프로그램에서 최종본으로 조립했음.

짜잔, 저예산으로 끝내는 1인 모션 캡처 완성²