Fallout 2 x Fallout: Bakersfield x H3를 활용한 인터랙티브/반응형 월드 모델, 가보자고!
Fallout 2 x Fallout: Bakersfield x H3 as Interactive \ Reactive World Model, Let's go!
핵심 요약
폴아웃: 베이커스필드 영상을 기반으로 한 인터랙티브/반응형 H3 월드 모델의 초기 프로토타입을 소개함.
- H3 월드 모델 — 폴아웃 영상을 학습해 2D 아이소메트릭을 3D 볼륨 장면으로 변환함.
- 인터랙티브 제어 — WASD 키나 프롬프트를 통해 사용자가 5초간 직접 상호작용함.
- 반응형 시스템 — Gemma 4 12b 모델이 사용자의 행동을 계산하고 RPG 방식으로 반응함.
- 개발 현황 — 현재 초기 프로토타입 단계이며 향후 3D 장면 쇼케이스를 준비 중임.
이게 대체 무슨 난장판이냐고?
이건 Fallout: Bakersfield 게임플레이 트레일러로 학습시킨 MiniMax H3 모델 기반의 인터랙티브/리액티브 H3 World Model 초기 컨셉 프로토타입 쇼케이스다.
-
2D 아이소메트릭에서 3D 볼류메트릭 씬으로 변환.
-
10초 인터랙티브/리액티브 분할, 352p, 3단계.
-
인터랙티브 5초: WASD 조작 / 프롬프트 제어.
-
리액티브 5초: LLM 기반 답변에 따른 리액티브 제어.
-
리액티브 모델로 Gemma 4 12b with Vision 사용.
-
Vascura FRONT 프론트엔드를 위한 시스템으로 설계됨.
인터랙티브/리액티브가 무슨 뜻이냐고?
H3 World Model 씬이 '인터랙티브'하다는 건 WASD로 돌아다니거나 프롬프트로 행동을 입력해서 상호작용할 수 있다는 뜻이야. 그다음엔 LLM 기반 답변을 통해 네 행동에 '반응'하지. 10초라는 시간 프레임 안에서 '앞' 5초는 사용자가 조작하고, '뒤' 5초는 LLM이 제어하는 방식이야.
-
사용자: 적 돌연변이에게 다가가서 총을 쏜다.
-
LLM: 계산 수행(주사위 굴림, 수치, RPG 툴 활용), 적 돌연변이 HP -1, 사용자에게 반격하지만 빗나감.
완성됐냐고?
아니, 근데 2D 아이소메트릭 스크린샷을 3D 볼류메트릭 씬으로 바꾸는 쇼케이스 기대해도 좋아.
