r/PiCodingAgent•27일 전•3•9
Oh My Pi에서의 컴퓨터 및 브라우저 사용
Computer & browser use in Oh My Pi
핵심 요약
Oh My Pi 환경에서 에이전트가 컴퓨터와 브라우저를 효율적으로 제어하고 인증 정보를 관리하는 방법을 질문함.
- 도구 추천 — Lightpanda, Playwright, agent-browser 등 다양한 자동화 도구 제안됨
- 리눅스 환경 — xfce와 Wayland를 지원하는 computer-use-linux 활용 가능
- 콘텐츠 처리 — Jina와 pi-webaccess 조합을 통한 정보 수집 권장
- 맞춤형 솔루션 — 브라우저와 Oh My Pi 사이의 MCP 서버를 직접 구축하여 세션 관리
다들 Pi/OMP로 에이전트한테 컴퓨터나 브라우저, 웹 제어권 어떻게 넘겨주고 있는지 궁금해서 글 써봄. 특히 어떤 툴이랑 모델 쓰는 게 제일 나은지 좀 알려주라. GPT 5.6 모델들 좀 건드려봤는데, 맨날 차단당하고 브라우저 보안 설정 때문에 오버엔지니어링 하다가 결국 자격 증명에서 막히기 일쑤더라.
내가 해결하고 싶은 유스케이스는 몇 개 있음:
-
에이전트가 내 컴퓨터를 제어하게 하고, 커스텀 브라우저 프로필을 열어서 조작하게 만들기.
-
세션, 날짜, 주 단위로 유지되는 자격 증명(쿠키나 암호화된 방식 추천) 입력 허용하기.
-
브라우저가 굳이 필요 없는 경우엔 빠르게 웹 검색만 수행하기.
-
SSH로 접속 중인 개발용 박스에서 에이전트가 컴퓨터/브라우저를 제어하게 만들기. 지금은 원격 데스크톱으로 들어가서 세션을 직접 띄워야 해서 너무 귀찮음.
최종 목표는 웹 앱에 대한 E2E 브라우저 테스트 환경을 구축하는 거임. 그리고 E2E 테스트 세션이 아닐 때도 앱 내에서 브라우저 활동을 수행하고 싶음(내가 직접 시키거나, 에이전트가 목표 수행 중에 브라우저/컴퓨터 사용이 필요하다고 판단할 때).
