리서치 에이전트 스크래핑 비용이 너무 많이 드는데, 요즘 다들 어떤 스택 쓰나요?

로컬 AI!

Firecrawl 직접 호스팅은 어때? 내 스택은 오케스트레이터가 주제를 나누고 > 3~5개 검색 드론(Brave/Tavily/DDG 등) > Firecrawl > 진짜 필요하면 Playwright 순으로 가. 그다음 선택적으로 인용구 확인이나 논문 다운로드 같은 2차 패스를 돌려. 절대 싸진 않지만 엄청 꼼꼼하게 처리돼. Firecrawl만 추가해도 웬만한 건 다 뚫림.

Firecrawl 직접 호스팅 고민 중인데, 이거 하나로 Cloudflare 문제 해결됨? 에이전트가 동시 요청 많이 날리면 결국 residential proxy 대량으로 관리해야 하는 거 아님? 아니면 스택에 따로 묘수라도 있는 거임?

솔직히 그 정도 규모면 그냥 Apify 쓰는 게 속 편함. 난 별 문제 없었는데, residential proxy 쓰고 요청 간격 조절하면서 같은 사이트 계속 안 찌르면 됨. 특정 사이트에서 캡차 뜨면 Playwright 돌리고.

나는 Apify MCP를 통해서 Apify를 주로 써. 스토어에 주요 웹사이트에 최적화된 스크래퍼가 있어서 결과당 비용을 지불하니까 비용 예측이 가능해. 에이전트 친화적인 데이터를 뽑아주는 'Website to markdown' 스크래퍼도 있고. Playwright MCP도 꽤 괜찮아.