r/LocalLLaMA•3개월 전•87•49

웹 검색을 위한 최고의 하네스(Harness) 추천 부탁드립니다

Best Harness for Web Searching

핵심 요약

로컬 LLM 웹 검색 시 발생하는 API 제한 문제를 해결하기 위한 도구와 설정 방법을 논의합니다.

검색 도구 추천 — Firecrawl과 SearxNG 조합이 가장 효과적임
설정 방식 — Docker를 활용해 환경 변수만 설정하면 빠르게 구축 가능
고급 기능 — 브라우저 에뮬레이터나 MCP를 활용해 복잡한 페이지 상호작용 구현
API 제한 해결 — 로컬 호스팅을 통해 검색 엔진의 레이트 리밋 문제 회피

웹 검색 리소스를 처리하기 위한 최고의 소프트웨어에 대한 의견을 구합니다.

제가 시도해 본 것:

LM Studio + 플러그인
Odysseus

제가 생각하기에 이 둘 다 겪고 있는 문제는 사용하는 검색 엔진들이 API 없이는 하루/시간당 10회 요청 정도로 제한된다는 점인 것 같습니다.

더 나은 검색 접근을 위해 DuckDuckGo 계정을 만들어 API를 생성하는 것 정도는 괜찮습니다. 하지만 프론트엔드에서 그런 요청을 하는 프롬프트를 제공조차 하지 않는다면, 그건 반쪽짜리 해결책일 뿐이죠.

최근에 많이 들리는 Hermes나 Pi가 여러분이 사용해 본 것들보다 더 나은 점이 있나요?

미리 감사드립니다!

원문

커뮤니티 목록

r/LocalLLaMA•3개월 전•87•49

웹 검색을 위한 최고의 하네스(Harness) 추천 부탁드립니다

Best Harness for Web Searching

핵심 요약

로컬 LLM 웹 검색 시 발생하는 API 제한 문제를 해결하기 위한 도구와 설정 방법을 논의합니다.

검색 도구 추천 — Firecrawl과 SearxNG 조합이 가장 효과적임
설정 방식 — Docker를 활용해 환경 변수만 설정하면 빠르게 구축 가능
고급 기능 — 브라우저 에뮬레이터나 MCP를 활용해 복잡한 페이지 상호작용 구현
API 제한 해결 — 로컬 호스팅을 통해 검색 엔진의 레이트 리밋 문제 회피

웹 검색 리소스를 처리하기 위한 최고의 소프트웨어에 대한 의견을 구합니다.

제가 시도해 본 것:

LM Studio + 플러그인
Odysseus

제가 생각하기에 이 둘 다 겪고 있는 문제는 사용하는 검색 엔진들이 API 없이는 하루/시간당 10회 요청 정도로 제한된다는 점인 것 같습니다.

최근에 많이 들리는 Hermes나 Pi가 여러분이 사용해 본 것들보다 더 나은 점이 있나요?

미리 감사드립니다!

주요 댓글

r/localllama

대부분의 사용자는 Firecrawl과 SearxNG를 Docker로 조합해 사용하는 것을 추천하며, 설정 난이도는 Docker를 활용하면 비교적 수월하다는 반응입니다.

셀프 호스팅 Firecrawl + SearxNG 조합이 아주 좋습니다.

이것들이 막힐 때는 CloakBrowser도 사용하고 있습니다..

https://github.com/CloakHQ/CloakBrowser

Crawl4ai도 SearxNG와 조합하면 꽤 잘 작동합니다.

경험 있는 개발자가 설정하기에 얼마나 쉬운가요? 지금 시간적 여유가 없어서 새로운 스택 디버깅하는 데 며칠씩 쓸 수가 없거든요, 무슨 말인지 아시죠?

Docker가 친구죠. Hermes에 Firecrawl을 활성화할 환경 변수 몇 개, Hermes(혹은 Firecrawl)에 SearxNG를 활성화할 환경 변수 몇 개만 넣으면 됩니다. Hermes 설정 명령어로 도구/플러그인을 실행하면 그냥 바로 작동해요. 매우 빠르고 견고하며 토큰도 엄청나게 아껴줍니다. 기본 web_search 및 web_extract 도구를 사용합니다.

음, 그건 작업의 일부일 뿐이에요. 더 복잡한 부분은 Firecrawl 인스턴스를 띄우는 거죠(SearXNG는 쉽지만요).

윽, 공감되네요.

제 경우에는 DB 시딩 스크립트가 실행되지 않는 문제가 좀 있었는데, Gemini랑 잠깐 대화해보니 쉽게 해결되긴 했습니다.

Docker는 저한테는 한 번에 성공했어요. 둘 다 깔끔하고 빠르게 올라왔습니다.

내가 살펴봤을 때 둘 다 세팅하는 데 90분 정도 걸렸음. 그중 절반은 firecrawl 컨테이너의 이그레스(egress)가 VPN으로만 나가게 제한하는 데 썼는데, 컨테이너 네트워킹은 진짜 저주받았음.

이 방법을 쓰면 레이트 리밋에 걸리거나 차단당하는 일이 있나요?

사이트의 서비스 이용 약관을 위반하면 차단당할 겁니다.

SearxNG 말인가요? 네, 많은 검색 엔진이 레이트 리밋을 걸거나 캡차를 요구할 겁니다.

검색은 SearXNG로 하고, 거기에 크롤러/스크래퍼/페처/그랩버/요잉커 등등을 붙이세요. 전 Firecrawl을 씁니다. 둘 다 도커에 던져 넣으면 거의 끝난 겁니다.

단순한 전체 페이지 가져오기보다 더 세밀한 제어가 필요하다면(에이전트가 페이지에서 클릭도 하고 뭐도 해야 한다면), Camofox 같은 브라우저 에뮬레이터를 추가하세요. https://github.com/jo-inc/camofox-browser

원격 디버깅이 활성화된 로컬 브라우저를 https://github.com/ChromeDevTools/chrome-devtools-mcp 같은 것과 연결하면...

원문r/LocalLLaMA