Cloudflare 때문에 3일간 프로젝트가 막혔던 경험과 배운 점
My project was blocked by cloudflare for 3 days. Here's what i learned
핵심 요약
Cloudflare의 강력한 차단 정책으로 고생하던 스크래핑 프로젝트를 Firecrawl과 Apify로 해결한 사례.
- 스크래핑 차단 — Cloudflare의 탐지 기술이 고도화되면서 기존의 프록시 로테이션 방식이 더 이상 통하지 않음.
- 기술적 해결책 — Firecrawl과 Apify를 조합하여 렌더링 및 자동화 문제를 해결하고 유지보수 부담을 대폭 줄임.
- 보안의 진화 — 2026년 들어 Cloudflare의 차단 정책이 훨씬 공격적으로 변해 기존의 우회 방법들이 무용지물이 됨.
- 유지보수 효율 — 수동 관리를 자동화 도구로 대체하여 6주 동안 추가적인 개입 없이 안정적인 운영이 가능해짐.
경쟁사 가격 모니터링 툴을 지난 4개월 동안 만들었습니다.
약 6주 동안 잘 돌아가다가 어느 날 아침에 일어나 보니 보고서가 완전히 비어 있더군요. 제 쪽에서 바뀐 건 아무것도 없었고, 사이트들도 잘 작동 중이었는데 그냥 데이터가 들어오지 않는 상태였습니다.
그다음 며칠 동안 생각할 수 있는 모든 것을 시도했고, 찾을 수 있는 모든 해결책을 써봤습니다.
매번 고치면 잠시 작동하다가 다시 멈추기를 반복했습니다. 고쳐서 기분 좋으면 3일 뒤에 다시 보고서가 비어 있는 식이었죠. 사이트들은 자동화된 요청을 적극적으로 차단하고 있었고, 제가 차단을 피하는 속도보다 그들이 차단하는 속도가 훨씬 빨랐습니다.
프록시 로테이션도 며칠은 통했지만, 같은 사이트들이 다시 차단하기 시작했습니다. 그 후에는 유료 스크래핑 서비스도 몇 개 써봤는데, 잠시 나아지다가 다시 일관성이 없어졌습니다. 모든 해결책이 이전보다 더 짧게 지속되었습니다.
어느 시점에 저는 이 문제를 무기한 쫓아다니거나, 아니면 직접 해결하려는 시도를 멈춰야 한다는 걸 받아들였습니다. 처음으로 제대로 된 옵션들을 찾아봤죠.
이 문제를 해결하기 위해 많은 조사를 했고, 지금은 실제 스크래핑과 크롤링을 위해 Firecrawl을 사용하고 있습니다. Cloudflare와 렌더링 문제를 자동으로 처리해주더군요.
여기에 스케줄링과 워크플로우 자동화를 위해 Apify를 결합했습니다. 이 둘을 합치니 제가 수동으로 유지보수하던 모든 것을 대체할 수 있었습니다. 다른 모든 것을 차단하던 사이트에서도 요청 실패가 전혀 없습니다. 그게 6주 전 일이고, 그 이후로 손도 안 대고 있습니다.
최근 Cloudflare는 정말 난리도 아닙니다. 개발자 커뮤니티에서 이 문제에 대한 글을 계속 봅니다. 사람들이 똑같은 문제, 똑같은 임시방편, 잠시 작동하다가 다시 고장 나는 똑같은 패턴 때문에 며칠씩 날리고 있죠. 저만 그런 게 아닙니다.
2026년 들어서 훨씬 더 공격적으로 변한 느낌이고, 예전 방식들은 더 이상 통하지 않는 것 같습니다.
