GPT-6 Astra가 스크린샷과 키보드/마우스 조작만으로 마인크래프트 서바이벌(보통)에서 엔더 드래곤을 처치함
GPT-6 Astra defeated the Ender Dragon in Minecraft Survival (Normal) using only screenshots and keyboard/mouse controls
핵심 요약
GPT-6 Astra가 외부 API나 치트 없이 오직 시각 정보와 일반적인 입력 장치만으로 마인크래프트 엔더 드래곤을 공략하는 데 성공했습니다.
- 시각 기반 제어 — 게임 화면 스크린샷을 분석하고 키보드와 마우스로 직접 조작함
- 비개입 방식 — 게임 메모리 접근이나 API를 사용하지 않고 일반적인 플레이어처럼 행동함
- 자율적 학습 — 스크립트 작성 및 수정, 게임 메커니즘 분석을 통해 스스로 전략을 수립함
- 실험적 성과 — 실시간 플레이는 아니지만, 외부 도움 없이 자율적으로 엔더 드래곤 처치 달성
OpenAI Codex랑 GPT-6 Astra를 써서 마인크래프트 장기 실험을 돌려봤다. 에이전트가 치트 없이 노멀 난이도 싱글 서바이벌 월드에서 엔더 드래곤 잡는 데 성공함.
에이전트가 마인크래프트를 플레이한 방식:
-
마인크래프트 창 스크린샷을 보고 게임 상황을 파악함.
-
파이썬으로 제어되는 일반적인 윈도우 키보드랑 마우스 입력을 사용함.
-
Mineflayer나 게임 메모리 접근, 혹은 플레이어 좌표, 주변 블록, 엔티티 같은 숨겨진 월드 정보를 알려주는 API는 일절 안 썼음.
-
F3 디버그 화면을 포함해서, 일반적인 게임 인터페이스에서 볼 수 있는 정보만 활용함.
-
실험 도중에 스크립트를 직접 짜고 수정하거나, 스크린샷 분석하고, 게임 메커니즘 찾아보고, 계획을 스스로 수정하는 것도 가능했음.
월드 생성 및 사전 지식:
월드 생성 직전에 텍스트 시드를 입력했음. 시드 텍스트 자체 말고는 생성된 월드에 대해 미리 아는 정보가 전혀 없었음. 에이전트한테 미리 계산된 경로, 월드 맵, 시드별 공략 같은 거 하나도 안 줌.
이건 미리 탐험해둔 월드를 대본대로 플레이한 게 아님.
사람의 개입:
실험 중에 AGENTS.md랑 관련 파일에 있는 지침들이 에이전트 능력을 너무 옥죄고 있다는 걸 깨닫고 딱 두 번 정도 개입했음.
이 개입은 에이전트가 마크를 깨는 걸 도와주려는 게 아니라, 에이전트가 더 자유롭게 움직일 수 있게 환경을 개선하는 데 집중했음.
바꾼 내용은 다음과 같음:
-
행동 순서나 관찰 빈도에 걸려있던 너무 빡빡한 제한들을 풀어줌.
-
에이전트가 자기 상호작용 도구랑 분석 툴을 더 자유롭게 수정할 수 있게 함.
-
에이전트가 자기 메모를 정리하고 관리하는 방식을 개선할 수 있게 함.
-
게임 입력을 유지하면서 동시에 관찰이랑 분석을 할 수 있게 허용함 (물론 안전장치는 걸어둠).
개입하는 동안 게임 전략이나 진행 방법, 위치, 장애물 해결법 같은 건 하나도 안 알려줌. 게임 깨는 방법 알아내는 건 끝까지 에이전트 몫이었음.
지침이랑 도구 변경 사항 일부는 여기 기록해둠:
실행 및 증거:
이 실험은 긴 시간 동안 멈췄다 움직였다 하면서 관찰하고, 추론하고, 에이전트가 직접 행동하는 과정을 거쳤음. 사람이 하는 것처럼 실시간으로 쭉 플레이한 게 아님.
게임 플레이 툴킷이랑 개발 기록은 공개되어 있음:
