r/OpenAI•3일 전•77•26
PokeBench: 최신 LLM들에게 게임보이 화면을 주고 포켓몬 레드 첫 번째 체육관을 깨도록 1,000턴을 줘봤다
PokeBench: I gave frontier LLMs the Game Boy screen and 1,000 turns to beat Pokemon Red's first gym
핵심 요약
최신 LLM들의 게임 공략 능력을 측정하기 위해 포켓몬 레드 첫 번째 체육관을 1,000턴 내에 깨도록 한 'PokeBench' 프로젝트 소개.
- 벤치마크 방식 — 게임보이 화면과 1,000턴 제한을 통해 LLM의 게임 공략 능력을 측정함
- 성능 결과 — 14개 모델 중 4개가 브록을 격파했으며 GPT-6 Astra가 가장 빠른 기록을 세움
- 실패 원인 — 대부분의 모델이 복잡한 내비게이션 과정에서 길을 잃거나 무한 루프에 빠지는 현상을 보임
- 비용 효율성 — Gemini 3.8 Flash가 3.7달러로 가장 저렴하게 체육관 공략에 성공함
모든 모델한테 똑같은 환경을 줬음. 게임보이 화면, 버튼 11개, 이동 가능한 그리드, 그리고 웅이를 깨기 위한 1,000턴. 공략도 없고, 경로 탐색도 없고, 힌트도 없음. 전부 다 똑같은 프롬프트로 돌림.
점수는 10단계 마일스톤(집에서 나오기, 스타팅 포켓몬 받기, 1번 도로 도착하기, ... 웅이 격파)으로 매겼음. 그래서 못 깨더라도 어디까지 갔는지에 따라 순위가 갈림.
지금까지 14번 돌렸는데, 그중 4개가 배지 땄음. 최고 기록은 GPT-6 Astra가 246턴. 제일 싸게 깬 건 Gemini 3.8 Flash로 3.7달러 들었음. 무료 로컬 모델인 Muse Glimmer 30B는 1,000턴 다 썼는데 1번 도로 도착하는 데서 끝남.
턴별 상세 로그랑 비용, VOD는 전부 https://pokebench.tv 여기 올라와 있음.
