150달러 미만으로 15.7억 파라미터 Dreamer 4 월드 모델을 처음부터 학습시켰습니다
I trained a 1.57B-parameter Dreamer 4 World Model from scratch for under $150
핵심 요약
150달러의 비용으로 Procgen 데이터를 활용해 15.7억 파라미터 규모의 월드 모델을 성공적으로 학습시킨 사례입니다.
- 비용 효율성 — 150달러 미만의 예산으로 대규모 모델 학습이 가능함을 입증함
- 데이터 품질 — Procgen을 활용해 행동 기반의 정확한 데이터셋을 직접 구축함
- 성능 지표 — 토크나이저 PSNR 40.41 및 FVD 32.19를 달성함
- 오픈 소스 — 학습 코드와 웹사이트를 통해 프로젝트 내용을 공개함
첫 번째 시도는 망했다. Genie 아키텍처를 기반으로 만들었는데 영상은 그럴싸하게 나왔지만, 조작이 거의 안 먹혔다. 키를 눌러도 반응이 사실상 제로였음.
Genie는 행동을 8개의 코드로 비지도 학습하는데, 이게 우리한테는 너무 느슨했다. 그래서 다 갈아엎고 Dreamer 4로 다시 시작함.
두 번째 시도 결과:
Tokenizer 40.41 PSNR (Genie 논문은 35.7 보고함)
FVD 32.19 (end to end)
144 프레임까지는 버티다가 무너짐
1.57B 파라미터, 9.6M 프레임, 비용 약 $150
여기서 얻은 중요한 교훈 두 가지:
(1) $150면 충분하다는 거. 이제 이런 거 하려고 거대 연구소까지 필요 없다. 아직 사람들이 이걸 잘 모르는 것 같음.
(2) 데이터가 핵심이다. 우리는 영상 긁어오는 대신 Procgen으로 프레임 전부 직접 생성했다. 매 단계마다 정확한 행동 값을 알고 있으니까, 모델이 진짜 우리 조작에 반응하는 건지 아니면 그냥 그럴싸한 움직임만 만들어내는 건지 확실하게 검증할 수 있음.
Website: https://worldmodel-platformer.vizuara.ai/
Code: https://github.com/RajatDandekar/dreamer4-coinrun
