구글의 무료 검색 인덱스 종료와 클라우드플레어의 AI 차단으로 웹 검색 기능이 마비되고 있습니다. 우리에게 남은 대안은 무엇일까요?

차단하기 전혀 불가능하지 않음. 최근 구글 검색할 때 내 네트워크 트래픽이 의심스럽다는 캡차를 종종 보는데, 자동 검색 막으려고 탐지 로직을 강화하는 느낌임. camoufox 같은 헤드리스 브라우저를 써도 구글 캡차에 걸릴 위험은 여전함.

검색 유료화가 먹힐 것 같진 않음. 모든 웹사이트의 수익이 바로 박살 날 텐데, URL은 그냥 문자열 뭉치일 뿐이고 10GB 파일에 얼마나 담을 수 있겠어? 동기화 제공자만 있으면 그만이지.

결국 공격적인 핑거프린팅으로 갈 거임 (어차피 구글은 이미 당신을 추적하고 있으니까)

YaCY의 시대가 드디어 온 걸까? https://yacy.net/ https://en.wikipedia.org/wiki/YaCy 이건 P2P 기반 오픈소스 탈중앙화 웹 검색 시스템이야. 20년이나 됐는데(!!!) 그동안 빛을 못 봤지.

이미 존재하는 대안들:

구글이 아닌 검색 API: SearXNG는 완전 오픈 소스고 직접 호스팅 가능함. 여러 엔진(Bing, DuckDuckGo, Brave 등)을 메타 검색하니까 특정 업체에 종속될 필요가 없음. Brave Search도 합리적인 무료 티어를 제공하는 API가 있음.

Common Crawl: 이미 페타바이트 단위의 웹 데이터가 크롤링되어 무료로 공개됨. 실시간은 아니지만, 많은 경우에 최신 데이터가 꼭 필요한 건 아님. Common Crawl을 인덱싱해서 로컬 검색을 구현하는 프로젝트들도 있음.

인터넷을 미러링해버려. 어차피 남의 콘텐츠를 보상도 없이 쓸 거면, 그냥 한 번 긁어서 큰 .txt 파일로 만든 다음에 P2P 네트워크로 뿌리는 게 낫지. 적어도 이러면 걔네가 대역폭 비용 낼 일은 없잖아. 아니면 누군가 마이크로페이먼트 방식을 제대로 구현해서 사이트들에 직접 돈을 지불하게 만들든가. 개인적으로는 온라인 광고 산업만 망할 수 있다면 어떤 대가라도 치를 의향이 있어.

CommonCrawl이 매달 20억 개 웹사이트에서 300~400TB씩 데이터를 뽑아내거든. (지난 몇 년간 크롤링한 페타바이트 단위 데이터는 빼고 말이야). 인터넷을 그대로 복제하는 건 진짜 엄청나게 어려운 일이라고 봐.

CommonCrawl은 매달 20억 개의 웹사이트에서 300~400TB를 생성해. (지난 몇 년간 크롤링한 페타바이트 단위의 데이터는 포함하지도 않은 거야). 인터넷 전체를 미러링하는 건 진짜 엄청나게 어려운 일이라고 봐.