이미지를 실시간 인터랙티브 영상으로 변환하는 로컬 월드 모델을 공개합니다 (RTX 3060 이상 지원)
I'm releasing a Local World Model Ive been building that turns images into interactive videos you control in real time. It works on RTX 3060, 4060 and anything above, linking huggingface
핵심 요약
이미지를 실시간으로 제어 가능한 영상으로 바꿔주는 로컬 월드 모델이 공개되어 커뮤니티의 큰 관심을 받고 있습니다.
- 월드 모델 공개 — 이미지를 실시간 인터랙티브 영상으로 변환하는 기술을 오픈소스로 배포함
- 하드웨어 사양 — RTX 3060 이상의 그래픽카드에서 구동 가능한 최적화된 모델임
- 기술적 특징 — 학습된 요약(learned summaries)을 활용한 트랜스포머 아키텍처 기반임
- 향후 개선 방향 — 현재의 낮은 해상도와 일관성 문제를 추가 학습을 통해 해결할 예정임
다들 안녕, 내가 만든 월드 모델을 공개하려고 해. 여기 눈팅한 지 몇 달 됐거든.
https://huggingface.co/lucidml/gta
이름은 gta라고 붙였는데, 일반 모델보다 훨씬 안정적이야. 아무 이미지나 넣으면 바로 인터랙티브 영상으로 바꿔줌.
바로 테스트해보고 싶은 사람들을 위해 간단하고 재밌는 드리프트 사이트도 열어놨어. 링크는 여기: https://lucidml.ai/dashboard/minidemo?world=gta5
이 링크는 VAST AI의 3070, 3080, 4080 같은 GPU를 아무거나 다 갖다 쓰는데, 50 시리즈도 몇 개 섞여 있어 (근데 내가 프레임을 빡세게 제한해놔서 50 시리즈는 거의 낭비되는 수준임).
모델을 대중에 공개하는 건 이번이 처음이라 좀 떨리네.
아키텍처는 학습된 요약(learned summaries)을 사용하는 트랜스포머 기반이야. 자세한 내용은 기술 보고서에 적어놨어. lucidml.ai/summaryformer 여기 들어가서 봐.
일관성이나 화질 같은 부분에서 아직 한계가 많다는 거 잘 알고 있어. 앞으로 더 학습시켜서 싹 다 고쳐볼 생각이야.
