r/langchain•4개월 전•2•9

로컬 에이전트를 위한 가장 쉬운 웹 스크래핑 방법 (Markdown MCP)

Easiest way to give your local agents reliable web scraping capabilities (Markdown MCP)

핵심 요약

로컬 에이전트가 웹 데이터를 쉽게 가져올 수 있도록 돕는 Markdown 기반의 MCP 서버를 소개합니다.

깔끔한 마크다운 변환 — LLM이 처리하기 쉬운 텍스트 형식으로 웹 페이지를 즉시 변환함.
JS 및 캡차 우회 — 복잡한 웹 렌더링 과정을 백엔드에서 처리하여 스크래핑을 단순화함.
합리적인 비용 모델 — 월 구독료 없이 사용한 만큼만 지불하는 마이크로 트랜잭션 방식을 채택함.
간편한 MCP 통합 — Cursor나 Claude Desktop 등 MCP를 지원하는 모든 프레임워크와 즉시 연동됨.

로컬 에이전트를 만드는 건 재밌지만, 실제 웹과 상호작용해야 하는 순간부터 골치가 아파집니다. 대부분의 간단한 requests.get()은 최신 SPA에서 실패하고, LLM과 함께 전체 Playwright 스택을 실행하면 RAM과 개발 시간을 엄청나게 잡아먹죠.

저는 바로 사용할 수 있는 솔루션을 원했고, 그래서 Markdown Scraper MCP 서버를 만들었습니다.

제가 이걸 만든 이유:

깔끔한 마크다운: LLM은 지저분한 HTML이 아니라 깔끔한 텍스트가 필요합니다. 이 도구는 어떤 URL이든 AI가 바로 읽을 수 있는 마크다운으로 변환합니다.
JS/캡차 우회: 뒤에서 성가신 렌더링 과정을 모두 처리합니다.
종량제 방식: 표준 스크래핑 API의 월 50달러 최소 비용이 너무 싫었습니다. 이건 마이크로 트랜잭션 모델(요청당 0.005달러)로 운영됩니다. 5달러만 충전해도 몇 달 동안 프로토타이핑하기 충분합니다.

Model Context Protocol을 사용하므로 Cursor, Claude Desktop 등 호환되는 프레임워크나 클라이언트와 즉시 통합할 수 있습니다.

저장소 및 설정 방법은 여기 있습니다: https://github.com/guimaster97/api_scraper_markdown

웹 접근이 필요한 에이전트 워크플로우를 어떻게 만들고 계신지 알려주세요!

원문

커뮤니티 목록

r/langchain•4개월 전•2•9

로컬 에이전트를 위한 가장 쉬운 웹 스크래핑 방법 (Markdown MCP)

Easiest way to give your local agents reliable web scraping capabilities (Markdown MCP)

핵심 요약

로컬 에이전트가 웹 데이터를 쉽게 가져올 수 있도록 돕는 Markdown 기반의 MCP 서버를 소개합니다.

깔끔한 마크다운 변환 — LLM이 처리하기 쉬운 텍스트 형식으로 웹 페이지를 즉시 변환함.
JS 및 캡차 우회 — 복잡한 웹 렌더링 과정을 백엔드에서 처리하여 스크래핑을 단순화함.
합리적인 비용 모델 — 월 구독료 없이 사용한 만큼만 지불하는 마이크로 트랜잭션 방식을 채택함.
간편한 MCP 통합 — Cursor나 Claude Desktop 등 MCP를 지원하는 모든 프레임워크와 즉시 연동됨.

저는 바로 사용할 수 있는 솔루션을 원했고, 그래서 Markdown Scraper MCP 서버를 만들었습니다.

제가 이걸 만든 이유:

깔끔한 마크다운: LLM은 지저분한 HTML이 아니라 깔끔한 텍스트가 필요합니다. 이 도구는 어떤 URL이든 AI가 바로 읽을 수 있는 마크다운으로 변환합니다.
JS/캡차 우회: 뒤에서 성가신 렌더링 과정을 모두 처리합니다.
종량제 방식: 표준 스크래핑 API의 월 50달러 최소 비용이 너무 싫었습니다. 이건 마이크로 트랜잭션 모델(요청당 0.005달러)로 운영됩니다. 5달러만 충전해도 몇 달 동안 프로토타이핑하기 충분합니다.

Model Context Protocol을 사용하므로 Cursor, Claude Desktop 등 호환되는 프레임워크나 클라이언트와 즉시 통합할 수 있습니다.

저장소 및 설정 방법은 여기 있습니다: https://github.com/guimaster97/api_scraper_markdown

웹 접근이 필요한 에이전트 워크플로우를 어떻게 만들고 계신지 알려주세요!

주요 댓글

r/langchain

Markdown 출력 기능과 종량제 모델에 대한 긍정적인 반응이 주를 이루며, 특히 LLM 워크플로우에서 토큰 효율성을 높여준다는 점이 높게 평가받고 있습니다.

좋은 아이디어네. 깔끔한 Markdown 출력은 웹 에이전트 쓸 때 삶의 질을 확 올려주지. 동적 페이지(JS 렌더링)랑 안티봇 차단은 어떻게 처리해? 에이전트 패턴들 여기 모아두고 있어: https://medium.com/conversational-ai-weekly

지금 firecrawl 쓰고 있는데, 이거로 바꾸면 품질이나 가격 면에서 어떤 차이가 있을지 비교해 줄 수 있어?

Markdown 출력 기능이 진짜 핵심이네. 웹 에이전트 쓸 때 제일 짜증 나는 게 페이지 긁어오는 것보다 긁어온 뒤의 들쭉날쭉한 구조 처리하는 거거든. 사용 권한이나 안정성 확인 안 하고 스크래핑 레이어에 너무 의존하는 건 조심해야겠지만, 프로토타이핑용으로는 꽤 깔끔해 보여.

난 내부 코드베이스를 위해 외부 문서 변경 사항 모니터링하는 웹 에이전트를 써. 원본 HTML을 프롬프트에 넣으면 토큰 윈도우 터지고 어텐션 메커니즘 성능도 떨어지거든. DOM 걷어내고 깔끔한 Markdown으로 넘기면 기술 문서 사이트 대부분에서 토큰을 80~95%까지 아낄 수 있어. 무거운 SPA(Single Page Application) 다루는 워크플로우라면 DOM은 아예 건너뛰어도 돼. 네트워크 탭 확인해서 밑단에서 fetch 요청 가로채 봐. 보통 깔끔한 J를 얻을 수 있을 거야.

다들 월간 최소 결제 금액 강요하는 스크래핑 API들만 있는데, 종량제 모델이라니 진짜 신선하네. LLM 워크플로우에서 매번 원본 HTML 파싱하는 것보다 깔끔한 Markdown 출력 쓰는 게 훨씬 합리적이지.

원문r/langchain