Claude가 백그라운드에서 PC 게임을 직접 플레이하게 해주는 MCP를 만들었습니다. GTA에서 운전하고, 헬기 조종하고, 걸어 다니는 모습입니다.

AI 에이전트가 내 PC를 점유하지 않고도 직접 게임을 플레이하면서 게임 모드를 만들고, 테스트하고, 개선하게 만들고 싶었음. 그래서 Claude Code로 MCP 서버를 구축했다. 이 서버는 Claude에게 게임 하나당 전용 키보드, 마우스, 게임패드, 화면 캡처 기능을 쥐여줌. 게임은 백그라운드에서 돌아가니까 내 PC는 방해받지 않고 계속 쓸 수 있고, 에이전트 하나당 게임 하나씩 해서 여러 개를 동시에 돌리는 것도 가능함.

영상 보면 Claude가 GTA IV에서 맵 웨이포인트까지 운전하고, GTA V에서 헬기 몰아서 웨이포인트에 착륙시키고, GTA IV에서 마커까지 걸어가는 모습이 나옴. 전부 실시간이고 편집 하나도 안 했다. 그 뒤에는 디트로이트: 비컴 휴먼에서 선택지 고르고, TABS, 헤일로 워즈 2, 팬텀 로즈, 시티즈: 스카이라인까지 플레이함.

가장 흥미로운 부분인 Claude의 역할은 다음과 같음:

Claude Code가 프로젝트 세팅하고, 계획 짜고, 코드 대부분을 직접 짰음. 게임 내부에서 입력이랑 캡처를 담당하는 DLL이랑, 그 위에 얹힌 100개 정도의 툴을 가진 TypeScript MCP 서버가 그거임.

개발 자체도 Claude 에이전트들이 함. 에이전트마다 게임 하나를 테스트 베드로 잡고 "이 교차로에서 자꾸 차가 멈춤" 같은 문제를 하나씩 해결하게 시킴. MCP로 게임을 직접 플레이하면서 툴이 뭘 잘못 인식하는지 찾아내고, 코드를 수정하고, 같은 경로에서 수정 전후를 비교함. 그다음 Claude Code가 변경 사항을 검토하고 테스트까지 돌린 뒤에 배포함.

게임마다 미니맵 위치, 카메라 회전 방식, 웨이포인트 모양 같은 걸 담은 작은 프로필이 있음. 그래서 새로운 게임을 지원하는 건 코딩보다는 데이터 작업에 가까움. 그 프로필들도 Claude 에이전트들이 게임하면서 대부분 직접 작성함.

Codex도 코드 짜는 데 좀 도움을 줬음.

아직 못 하는 것도 있음: 미니맵 없는 실내는 여전히 헤맴. 모로윈드에서 문 찾는 데 한참 걸리더라. FPS 게임 조준도 아직 초기 단계임. 최종 목표는 게임 전체를 클리어하는 건데, 아직 거기까진 안 됨.

이거 무료고 오픈 소스(MIT)라 아무 MCP 클라이언트에서나 다 돌아감. 게임 내에서 돌아가는 부분이 Windows DLL이라 일단은 Windows 전용임. 싱글 플레이랑 오프라인 게임만 가능함. 안티 치트 걸려 있는 게임에선 안 돌아감.

https://github.com/CorruptedAng3l/llm-game-automation-mcp

질문 있으면 환영하고, 다음엔 어떤 게임 해봤으면 좋겠는지도 알려줘.