이미지를 플레이 가능한 게임으로 바꿔주는 딥 뉴럴 네트워크! 근데 데이터센터가 아니라 로컬에서 돌아감
Deep Neural Network that can turn any Image into a Playable Game! BUT LOCALLY, NOT ON DATACENTER
핵심 요약
RTX 5090에서 실시간으로 이미지를 게임으로 변환하는 로컬 기반의 소형 트랜스포머 모델 개발기입니다.
- 로컬 게임 시뮬레이션 — RTX 5090 환경에서 실시간으로 이미지를 게임으로 변환함
- 모델 구조 — LLM과 유사한 인과적 트랜스포머 모델을 사용하여 KV 캐시를 활용함
- 성능 최적화 — 0.5B 모델 기준 3단계 디노이징으로 50~60fps 구현
- 향후 과제 — 짧은 컨텍스트로 인한 객체 영속성 문제 해결 및 모델 확장
안녕하세요!! 제가 작업 중인 연구 내용을 공유하고 싶어서 글을 씁니다.
게임을 시뮬레이션하거나, 적어도 그런 시도를 할 수 있는 신경망을 만들고 싶었어요.
대부분의 비디오 생성 모델은 소비자용 하드웨어에서 실시간으로 돌리기엔 너무 커서, 처음부터 새로 모델을 설계했습니다. 파인튜닝 같은 꼼수는 전혀 쓰지 않았어요.
핵심 디노이저 네트워크는 이 목표를 지원하기 위해 완전히 처음부터 학습되었습니다. 이미지에서 게임 데이터까지 말이죠.
위 영상은 RTX 5090에서 돌아가는 모습입니다.
이 신경망은 LLM처럼 인과적으로 작동하는 소형 트랜스포머 모델입니다.
덕분에 과거의 모든 정보를 KV 캐시로 저장하고, 새로운 프레임마다 간단한 자기회귀 디코딩 포워드 패스를 수행할 수 있습니다.
공유한 영상 속 모델은 0.5B 버전인데, 움직임이 부자연스럽거나 이상한 플래시 현상, 컨텍스트 문제 같은 상당한 이슈들이 있습니다.
실시간으로 제가 입력하는 키보드 동작을 포워드 패스에 활용하고 있어요. (분류기 없는 가이던스(classifier free guidance)는 사용하지 않았습니다)
지금 다음 버전인 0.8B 모델을 학습 중입니다.
참고로 아직 양자화(quantization)는 안 했는데, 하면 훨씬 더 많은 시간을 절약할 수 있을 거예요. bf16은 느리거든요.
