Pi.dev로 Grokbot 스타일의 컴퓨터 제어가 가능할까?

Grokbot이 사람이 작업하는 영상을 입력받아서, 자기 컴퓨터로 그 작업을 그대로 따라 하는 걸 봤거든.

Pi.dev로 비슷한 걸 만들려면 어떻게 해야 할까?

Pi에 컴퓨터 GUI를 제어할 수 있는 확장 프로그램이나 도구가 따로 있을까? 예를 들면 이런 것들 말이야:

• 마우스를 X/Y 좌표로 이동
• 버튼 클릭
• 텍스트 필드에 타이핑
• 단축키 사용
• 데스크톱 앱 조작
• 화면에 뭐가 있는지 파악하려고 스크린샷이나 비전 기능 활용

이런 자동화가 브라우저 안에서만 되는 거야, 아니면 Pi가 일반 데스크톱 앱들도 다 제어할 수 있는 거야?

만약 직접 밑바닥부터 만들어야 한다면, 처음부터 다 짜지 말고 어떤 라이브러리나 도구들을 활용하는 게 좋을까?

예를 들어, 화면 캡처, 마우스/키보드 제어, UI 요소 탐지, OCR/비전 같은 기능 중에서 Pi랑 궁합이 잘 맞는 도구들이 있을까?

에이전트를 데스크톱 제어권이 완벽한 리눅스 머신이나 VM 안에서 돌리는 게 나을까, 아니면 macOS에서도 똑같이 안정적으로 돌아갈까?

결론적으로, Pi가 작업을 보고 이해한 다음에 컴퓨터 UI를 통해 직접 실행까지 하는 환경을 구축하고 싶어.

고맙다!