Cloudflare가 웹의 5분의 1에서 AI 에이전트를 기본적으로 차단하려고 합니다. 기술 업계 밖에서는 아무도 이 사실을 모르는데, 왜 아무도 이 문제를 이야기하지 않는 거죠?
Cloudflare is about to block AI agents by default on a fifth of the web. Nobody I talk to outside of tech knows this is coming. Why is no one talking about it?
핵심 요약
Cloudflare의 새로운 AI 트래픽 제어 정책이 AI 에이전트의 웹 접근성을 제한하고 소규모 개발자에게 불리하게 작용할 것이라는 우려가 제기되었습니다.
- AI 트래픽 제어 — 9월 15일부터 광고가 포함된 페이지에서 AI 에이전트 및 학습 봇 차단됨
- Web Bot Auth — 에이전트 식별을 위한 인증 키 도입으로 소규모 개발자에게 진입 장벽 형성
- 웹 접근성 논란 — 공공 API가 없는 사이트에서 실시간 에이전트 작업 수행이 어려워짐
- 웹 생태계 변화 — 대형 연구소는 쉽게 통과하지만 소규모 플레이어는 차단되거나 신원 노출 강요됨
9월 15일부터 Cloudflare의 새로운 AI 트래픽 제어 기능은 봇을 검색, 에이전트, 학습 봇으로 분류하여, 광고가 표시되는 모든 페이지에서 에이전트와 학습 봇을 기본적으로 차단하는 한편 검색 봇은 통과시킵니다.
그 기계적인 웹이야말로 구축할 가치가 있는 곳인데, 지금 대부분의 사람들에게는 그곳이 차단되고 있습니다.
Web Bot Auth라는 신원 확인 레일이 생길 예정입니다. 모든 요청에 공개 키로 서명하여 Cloudflare가 당신의 에이전트가 주장하는 그 에이전트가 맞는지 확인할 수 있게 하는 방식입니다. 서명은 고려 대상이 되기 위한 비용입니다. 대형 연구소들은 고민 없이 이 기준을 통과합니다. 하지만 Cloudflare 스스로도 신원을 밝힐 여력이 없는 사람들에게는 신뢰가 닿지 않으며, 이 설정이 소규모 플레이어들이 경쟁하기 위해 숨어들게 만든다는 점을 인정하고 있습니다.
그렇다면 이곳 사람들은 이 문제를 어떻게 생각하고 있을까요?
실제로 에이전트를 구축하는 사람들이 이 상황을 어떻게 계획하고 있는지 궁금합니다. 그냥 웹을 탐색하는 것조차 1년 전보다 미래가 불투명하게 느껴지기 때문입니다.
