비개발자인데, 웹사이트에서 데이터를 긁어오는 방법 공유함

몇 달 동안 사이드 프로젝트를 진행 중이야. 여러 사이트에서 리스팅을 긁어와서 한곳에 보여주는 애그리게이터 같은 거지.

나는 개발자가 아니야. 튜토리얼을 따라 하거나 코드를 복사해서 붙여넣고, 천천히 문제를 해결하는 정도는 할 수 있어. 하지만 스크래퍼를 처음부터 작성하는 건 내 수준을 훨씬 뛰어넘는 일이었지.

처음 시도한 방법은 그냥 Claude한테 스크래퍼를 짜달라고 하는 거였어. 짜주긴 했고 첫 번째 사이트에서는 잘 작동했는데, 두 번째 사이트에서 막혔지. 고쳐달라고 했더니 그건 고쳤는데 세 번째 사이트에서 또 막히더라고. 4일 정도 이 짓을 반복하다가, 문제가 코드가 아니라 도구 자체라는 걸 깨달았어.

지금 내가 사용하는 스택은 이거야:

n8n 자동화용. 모든 걸 연결하고, 하루에 두 번 워크플로우를 실행하고, 스케줄링을 처리해. 다른 용도로 이미 쓰고 있어서 firecrawl을 연결하기 쉬웠어.

firecrawl 스크래핑용. 자바스크립트 사이트, Cloudflare, 동적 콘텐츠까지 다 처리해 줘. 결과물은 깔끔한 마크다운으로 나오고. 이게 예전에 나를 미치게 했던 부분이었거든.

claude 처리용. firecrawl이 원본 콘텐츠를 가져오면, Claude가 그걸 정리하고 필요한 정보만 뽑아내서 불필요한 건 걸러내.

supabase 데이터 저장용. n8n이 정리된 데이터를 바로 Supabase 테이블에 넣어. 시작하기 간단하고 무료야.

설정하는 데 오후 한나절 걸렸어. 전체 비용은 다 합쳐서 한 달에 30달러 정도야. 2주 동안 만들려고 끙끙대던 게 이제는 그냥 백그라운드에서 알아서 돌아가.

스크래핑 부분이 이 프로젝트를 가로막던 유일한 문제였어. 그게 해결되니까 나머지는 쉬웠지.

다들 어떤 스택을 쓰는지 궁금해.