대충 그린 낙서를 실사 물리 장면으로 변환하기: 주사위가 사원 유적을 부수고, 포크가 문어와 싸우는 장면을 Gemini Omni로 테스트함
Turning rough doodles into photoreal physics scenes, a die crushing a temple ruin, a fork fighting an octopus, tested on Gemini Omni
핵심 요약
Gemini Omni를 활용해 간단한 낙서를 물리 법칙이 적용된 실사 영상으로 변환하는 실험을 진행함.
- Gemini Omni 활용 — 간단한 낙서를 물리 엔진이 적용된 실사 영상으로 변환함.
- 창의적 시각화 — 주사위가 유적을 부수거나 포크가 문어와 싸우는 등 독특한 장면을 구현함.
- 물리적 상호작용 — 낙서 주변의 먼지, 불꽃, 변형 등 사실적인 물리 효과를 생성함.
- 실험적 시도 — 낙서의 형태는 유지하면서 주변 환경을 사실적으로 묘사하는 방식임.
Gemini Omni가 간단한 낙서를 얼마나 물리적으로 사실적인 장면으로 구현할 수 있는지 테스트 중임. 대충 스케치를 그리고 무슨 일이 일어나는지 설명하면, 모델이 단순히 그림을 깔끔하게 다시 그리는 게 아니라 실제 물리 법칙, 조명, 재질 디테일을 채워 넣음.
가장 잘 나온 결과물 몇 가지: 주사위가 낙서로 된 어드벤처 영화 스타일의 사원 유적을 그대로 뚫고 지나가는 장면, 포크가 거대 문어와 검술 대결을 하는 장면, 스틱맨 슈퍼히어로가 실제 새총으로 불타는 고리를 통과하는 장면, 카세트테이프가 롤러코스터로 펼쳐지는 장면, 카우보이가 소다 캔 폭발을 기계 황소처럼 타고 다니는 장면 등임.
낙서는 그대로 낙서로 남음. 변하는 건 그에 반응하는 모든 것들임: 주사위가 일으키는 먼지, 불꽃이 고리에 실제로 옮겨붙는 방식, 카우보이의 무게에 캔이 찌그러지는 모습 등. 평면적인 스케치와 그 주변의 물리적으로 구현된 혼돈 사이의 대비가 이 영상의 핵심임.
다음에 무엇을 그릴지 이미 목록을 만들어 둠.



