r/AI_Agents•3개월 전•6•12
인터넷 탐색을 처리하는 가장 좋은 방법은 무엇인가요?
What are the best ways to handle internet navigation?
핵심 요약
AI 에이전트의 웹 탐색 기능을 개선하기 위해 검색과 브라우저 자동화 도구를 분리하는 방법을 논의합니다.
- 기능 분리 — 검색과 브라우저 자동화 도구를 나누어 사용함
- 브라우저 자동화 — Playwright나 Puppeteer를 활용해 웹 상호작용 구현
- 데이터 처리 — 원본 HTML 대신 마크다운이나 DOM 구조로 변환하여 LLM에 제공
- 경량화 전략 — 저비용 운영을 위해 가벼운 오픈소스 솔루션 위주로 구성
안녕하세요! 현재 에이전트 하네스를 작업 중인데, 지금 가장 고민인 부분은 제 에이전트의 웹 탐색 능력이 너무 제한적이라는 점입니다. Marginalia, BRAVE, Tavily, DuckDuckGo 스크래퍼를 통한 웹 검색 기능과 Mozilla의 간단한 웹 리더를 통합하는 데는 성공했습니다. 위키피디아에서 주로 정보를 가져오는 조회 도구도 포함했고요.
하지만... 이건 너무 단순하고 성능도 좋지 않습니다. 제 에이전트는 현재 링크를 제대로 열지 못하거나, 웹 리더가 가져온 섹션 다음 내용을 스크롤해서 읽지 못하고, 페이지 내 검색을 하거나... 아마 웹사이트를 제대로 탐색하는 것조차 불가능할 겁니다.
에이전트를 위한 포괄적인 인터넷 탐색 도구 모음을 만들려면 무엇이 필요할까요? 그리고 그중에서도 괜찮으면서 중요한 점은, 가볍고 작은 오픈소스 솔루션이 있을까요? 소외된 사람들도 사용할 수 있도록 하네스를 매우 저렴하고 가볍게 유지하려고 노력 중입니다.
이 분야는 완전히 초보라서, 어떤 도움이라도 정말 감사하겠습니다.
