완전 무료 웹 리서치 도구 (API 키 없이 바로 사용 가능, Hound 대체제) - 스텔스 웹 페치, 웹 크롤링 및 로컬 웹 검색

예전에 글 썼던 hound를 대체하려고 웹 리서치 툴 하나 만들었다.

이름은 DonSeTch다. Pi가 네이티브 익스텐션을 지원하니까 설치는 그냥 이거면 끝임:

pi install npm:donsetch

MCP 설정 블록도 없고, 어댑터도 없고, 프록시도 필요 없다. 툴이 Pi 세션에 바로 뜨고 바이너리랑 자동으로 동기화됨.

하는 일

툴은 딱 세 개: fetch, search, crawl. API 키도 필요 없고 계정도 필요 없음. Rust 바이너리 하나로 끝.

• Fetch — 일단 HTTP로 먼저 찌르고(빠름), 봇 차단 걸리면 그때만 헤드리스 브라우저로 전환함. 브라우저가 클리어런스 쿠키만 쏙 빼와서 HTTP 레이어에 넘겨주고 바로 잠듦. 브라우저가 직접 콘텐츠를 긁어오는 일은 거의 없음.

• Search — 키 없이 쓰는 엔진 10개 이상을 병렬로 돌리고, 엔진 간 합의 알고리즘이랑 시맨틱 리랭킹용 로컬 ONNX 크로스 인코더로 결과를 합침. API 키 같은 거 절대 안 씀.

• Crawl — 사이트맵 인식하고, 토픽 필터링 되고, 이어받기 토큰 지원함. 429 에러 뜨면 무식하게 들이받지 않고 적응형 페이싱으로 알아서 속도 조절함.

TLS는 크롬이 쓰는 BoringSSL 그대로 박았다. 니 ClientHello가 그냥 크롬 그 자체임. 썩어빠진 가짜 테이블 같은 거 안 쓴다.

제일 신경 쓴 부분: 토큰 효율성

툴 3개 합쳐서 정의문이 3.5k 토큰 정도 됨. fetch에 있는 focus 파라미터가 진짜 물건이다.

이번 v3.1에서 섹션 단위 스코어링으로 싹 갈아엎음:

• 위키피디아 페이지에서 "memory safety" 검색하면 → "Ownership and references" 섹션 전체(헤딩+본문)를 유지하고, 문맥 파악을 위해 상위 헤딩까지 가져온 다음, 관련 없는 건 다 날려버림.

• 50KB짜리 페이지가 딱 니가 물어본 내용 500자 정도로 압축돼서 나옴.

• 큰 코드 블록이나 JSON 스키마는 서브 블록으로 쪼개서, 그냥 글뿐만 아니라 구조화된 데이터에서도 focus가 제대로 먹힘.

그 외 기능들

• Reference handles — 검색하고 나서 치면 바로 작동함