pi-agent-computer-use: 컴퓨터 제어 권한 부여 (브라우저+데스크톱)
pi-agent-computer-use: give your access to computer (browser+desktop)
핵심 요약
에이전트가 브라우저와 데스크톱 앱을 실제 사용자처럼 제어할 수 있게 해주는 CUA 드라이버 기반 확장 도구입니다.
- 컴퓨터 제어 기능 — Playwright와 CUA 드라이버를 활용해 에이전트가 데스크톱과 브라우저를 조작함
- 하이브리드 모드 — 이미지 기반 스크린샷 인식과 구조적 UI 자동화 방식을 모두 지원함
- 다양한 활용성 — 3D 작업, 웹 브라우징, 애플리케이션 테스트 등 실제 사용자처럼 동작함
- 오픈소스 기여 — 현재 윈도우 환경을 지원하며 리눅스 및 macOS 기여자를 모집 중임
안녕! 요즘 내 에이전트들한테 computer-use는 필수라, 커스텀 CUA 드라이버 포크랑 Playwright를 써서 확장 기능을 하나 만들었어. 에이전트를 믿고 쓸 수 있는 환경에서 YOLO 모드로 돌리려고 작정하고 만든 건데(Safe 모드도 있긴 함), 하이브리드 방식으로 작동해. 원본 이미지를 보고 입력하는 방식(에이전트가 스크린샷 보고 클릭)이랑 구조적인 방식(브라우저는 Playwright, 일반 데스크톱 앱은 UIA) 둘 다 지원함. 에이전트가 자기 브라우저 프로필을 쓰거나 네 걸 가져다 쓸 수도 있고, 샌드박스나 원격 데스크톱에서도 잘 돌아가. OS 쪽 제약은 좀 있지만, 어느 정도 협업도 가능함.
진짜 이거 만든 보람이 있더라. 이제 내 에이전트들이 3D 작업도 하고, 필요한 거 검색도 하고, 실제 사용자처럼 내 앱 테스트까지 다 해줌.
주로 GIMP 드로잉으로 벤치마크 돌려봤는데, 이건 UIA를 지원 안 해서 100% 이미지 기반 모드로만 상호작용했어. 근데 Terra 6.1 High 모델로 https://neal.fun/not-a-robot/의 42단계까지 갔다가 Cloudflare한테 밴 당해서 더는 못 나갔음. 윈도우 전용(WSL 윈도우 포함)인데, 리눅스나 macOS 쪽으로 기여해 줄 사람 있으면 진짜 좋겠다. 내가 그런 기기가 없어서 윈도우만큼 제대로 테스트를 못 하거든.
https://github.com/alexshpunt/pi-agent-computer-use
https://pi.dev/packages/pi-agent-computer-use
설치 방법: `pi install npm:pi-agent-computer-use`
