r/ClaudeCode•약 6시간 전•40•54논쟁
요즘 Claude는 왜 웹 스크래핑에 이렇게 까다로운 거야?
Why is it so fussed over web scraping now?
핵심 요약
Claude가 웹 스크래핑이나 robots.txt 정책에 지나치게 민감하게 반응하며 거부하는 현상에 대한 사용자들의 불만과 우회 방법 공유.
- 스크래핑 제한 — Claude가 robots.txt나 보안 정책을 이유로 간단한 데이터 수집조차 거부함
- 우회 전략 — 브라우저 확장 프로그램 제작이나 외부 커넥터 활용 등 다양한 우회법 제시
- 기업의 입장 — AI 모델 기업들이 법적 리스크와 윤리적 기준을 강화하면서 발생하는 현상
- 기술적 논쟁 — robots.txt의 성격과 AI 에이전트의 웹 탐색 권한에 대한 사용자 간 의견 대립
야, 요즘 클로드 왜 이렇게 꼴값 떠냐? 인터넷에서 보고서 20~30개 정도 다운받아서 숫자 비교 좀 하려고 했는데, 클라우드플레어(cloudflare) 체크가 뜨거나 robots.txt에 봇 금지라고 적힌 멍청한 정책 같은 거 읽으면 갑자기 난리를 피워대네. 자기는 클라우드플레어 우회 안 할 거라면서 말이야.
얼마 전까지만 해도 잘만 해주던 놈이 왜 이러냐. 사실 이건 제대로 된 스크래핑도 아니야. 내가 예전에 클로드랑 온갖 잡다한 거 다 우회하는 웹 스크래퍼도 직접 짰었는데 말이지. 근데 이미 공개된 인터넷 페이지 2개 긁어오는 것조차 안 된다고 유난 떠는 건 좀 아니지 않냐?
