r/OpenAI•2개월 전•57•31
우리 트래픽의 80%가 AI 크롤러임. 유입은 딱 2건.
80% of our traffic are AI crawlers. Two referrals to show for it.
핵심 요약
작은 스타트업이 AI 봇으로 인한 트래픽 급증과 그에 따른 미미한 유입 효과를 토로함.
- 트래픽 점유율 — 전체 트래픽의 80%가 AI 봇으로 구성됨
- 유입 효과 부재 — 수많은 크롤링에도 불구하고 실제 유입은 거의 없음
- 인프라 부담 — 봇 트래픽을 감당하기 위한 서버 비용이 발생함
- 차단 딜레마 — 검색 엔진 최적화(SEO)를 위해 크롤러를 완전히 차단하기 어려움
트래픽 지표를 확인했는데(우리는 작은 스타트업임) 공유 안 할 수가 없었음. 트래픽의 80%가 AI 봇임. 그냥 일반적인 봇이나 크롤러도 아니고, 순수 AI 봇들임. 이 모든 트래픽을 감당하기 위해 인프라를 계속 돌려야 함.
메타(Meta)가 가장 큰 비중을 차지하는데 우리 사이트로 보낸 유입은 아예 없음. OpenAI나 Anthropic이 더 높을 줄 알았는데, 이 분야에서 주목받는 건 걔네들이니까. OpenAI는 겨우 한 명 유입시켰으니, 80,000:1이라는 엄청난 비율을 기록한 걸 축하해줘야겠음.
Cloudflare에서 차단하는 건 쉽지만, 검색 인덱싱에 영향을 주지 않고는 불가능함. 우리 규모의 사이트에서는 그게 실제 목표인데 말이지.
오픈 웨이트 모델들이 프론티어 랩에서 추출(distilling)되는 동안, 프론티어 랩들은 우리 같은 나머지 사이트들을 추출하고 있다는 논쟁이 한창인 와중에 참 절묘한 타이밍임.
