pi-research: 대규모, 프로바이더 없는 웹 리서치 시스템
pi-research: big-scale, no provider web research system
핵심 요약
보안과 효율성을 강조한 대규모 웹 리서치 도구 'pi-research' 소개.
- 보안 리서치 환경 — 격리된 시스템에서 실행되어 프롬프트 인젝션 위험을 차단함
- 비용 효율적 모델 — 작은 모델을 활용해 메인 컨텍스트를 절약하고 크레딧을 아낌
- 대규모 스크래핑 — Playwright와 DuckDuckGo를 활용해 차단 사이트까지 대량으로 수집함
- 로컬 지식 저장소 — 연구 내용을 로컬에 저장하고 검색 가능한 인덱스를 구축함
웹 리서치용 툴을 하나 만들었어. 이건 pi extension으로도 쓸 수 있고, 코딩 에이전트의 스킬로도 넣을 수 있고, 그냥 CLI나 SDK 툴로도 돌릴 수 있어.
-
리서치를 격리된 시스템에서 돌리기 때문에, 리서치 툴을 쓰는 LM이 파일 쓰기나 수정, bash 명령어를 못 날리게 막아놨어 (프롬프트 인젝션 방지용).
-
리서치 작업을 작은 모델(openrouter ling-3.0-flash 같은 거나 로컬 모델 등 아무거나)에 맡길 수 있어서, 메인 컨텍스트에 페이지 내용을 다 때려 박을 필요가 없고 크레딧도 아낄 수 있어.
-
봇 차단하는 사이트들 뚫으려고 검색/스크래핑을 엄청나게 때려 박았어. DuckDuckGo를 Playwright로 동시에 긁어오는 무제한/로컬 검색 툴 덕분에 가능한 방식이야.
-
로컬 (시맨틱) 지식 저장소도 포함되어 있어서, 원하면 리서치 내용을 저장하고 나중에 검색 가능한 로컬 인덱스를 만들 수도 있어.
MIT 라이선스고 설정이나 수정하기도 개꿀임.
https://github.com/Lincoln504/pi-research
예전에 pi-research SDK 모드로 에이전트 만드는 거 보여주려고 간단하게 데모 하나 만들었던 것도 있는데, 이것도 참고해 봐 https://wallofshame.io
