r/langchain•4개월 전•6•8
AI 기반 웹 스크래핑 도구 큐레이션 리스트
Curated list of AI-powered web scraping tools
핵심 요약
LLM 기반 웹 스크래핑 도구들을 체계적으로 정리한 큐레이션 리스트를 공유함.
- 스크래핑 도구 — LLM 기반의 최신 스크래핑 프레임워크와 API를 정리함.
- 범위 설정 — 기존의 전통적인 스크래핑 도구와 차별화된 리스트를 구성함.
- 포함 항목 — Crawl4AI, Firecrawl, Jina Reader 등 다양한 인프라를 다룸.
- 커뮤니티 피드백 — 추가할 만한 도구에 대한 의견을 적극적으로 수렴함.
프로젝트를 위해 AI 스크래핑 도구를 조사하다 보니, 기존의 'awesome' 리스트들은 전통적인 스크래핑(Scrapy, BeautifulSoup)을 다루거나 웹 에이전트를 너무 광범위하게 다루고 있다는 점을 알게 되었습니다. LLM 기반 스크래핑에 특화된 리스트를 찾을 수 없어서 직접 정리해 보았습니다.
프레임워크(Crawl4AI, Scrapling, ScrapeGraphAI, llm-scraper), 호스팅 API(Firecrawl, Jina Reader, Diffbot), AI 에이전트를 위한 브라우저 인프라, MCP 서버, 그리고 LLM을 위해 구축된 검색 API를 다루고 있습니다.
추가할 만한 내용이 있다면 알려주세요. 제가 놓친 게 있을까요?
