로컬 모델로 ChatGPT나 Codex 같은 검색 경험을 구현하려면 어떻게 해야 할까요?

Flaresolverr 말고 다른 프레임워크는 뭐가 있나요?

제 경우에는 99%가 제가 직접 모델과 함께 작성한 커스텀 하네스입니다. 제 특정 사용 사례에 맞춰 계속 수정하고 있죠. 백엔드조차도 제가 직접 포크해서 llama.cpp용 d2t MTP 헤드 지원이나 exllamav3 버그 수정 등을 적용한 상태입니다.

요점은, 가능은 하고 '바이브 코딩'으로도 할 수 있다는 겁니다. 하지만 검색의 경우엔 그냥 상용 API를 쓰는 게 더 편할 때가 많죠(Brave도 이론상 무료지만 결제 카드를 등록해야 해서 전 안 씁니다).

앞서 받은 답변에 덧붙이자면, 모델 성능이 좋을수록 검색 엔진은 덜 중요해집니다. Flaresolverr는 프로그래밍 방식으로 쓰기에 이미 꽤 편리해서 대부분의 모델은 신경 쓰지 않을 겁니다. 만약 Bash 도구 등을 사용하는 표준적인 컨테이너/VM 하네스를 쓰고 있다면, Flaresolverr를 서버로 띄워놓고 하네스와 함께 실행하며 HTML 콘텐츠를 가져오는 대체 엔드포인트로 활용할 수 있습니다. 성능 좋은 모델이라면 필요에 따라 파일을 가져오고, 텍스트를 검색하고, 필터링하고, 렌더링하는 등의 작업을 낭비 없이 처리할 수 있죠.

워크플로우가 명확하다면 렌더링이나 검사를 처리하는 도구/하네스 확장을 직접 만들어 속도와 신뢰성을 높일 수 있습니다(예: 텍스트 전용 모델을 위해 텍스트만 추출하거나, 빠른 웹페이지 검사를 위해 이미지 렌더링을 추가하는 등). 정말로 무인 자동화가 필요한 게 아니라면 이 정도까지는 필요 없겠지만, 시간과 토큰을 아끼는 데는 도움이 됩니다.

Tavily가 SearXNG보다 훨씬 좋아서 개인정보를 포기해도 될 정도예요 ㅋㅋ. 하네스에 스위치를 하나 달아서 SearXNG로 여러 번 검색해도 결과가 안 나오면 Tavily가 켜지게 해놨습니다.

유료 API나 이 목적을 위해 만들어진 유료 프록시 풀이 가장 좋을 겁니다. 무료로 하려면 본인의 주거용 IP에서 SearXNG를 사용하고 적절한 사용자 에이전트를 설정하세요. curl, chromium+playwright 같은 대체 방법도 마련해두고요. 유료 방법을 백업으로 두는 것도 좋습니다.

결과는 많이 나오는데 내용이 별로라면 유료 검색이 필요할 겁니다. 결과는 괜찮은데 모델이 혼란스러워한다면, 검색 결과를 강화하거나 필터링하는 중간 단계를 설계해야 합니다. 예를 들어 검색을 개선하거나 여러 병렬 검색 결과를 필터링하고 합치는 별도의 모델/컨텍스트를 활용하는 방식이죠.

특화된 검색 하네스를 사용하세요.
이걸 몇 번 써봤는데 꽤 괜찮은 결과가 나왔습니다.
https://github.com/LearningCircuit/local-deep-research

SearXNG가 실제로 어떤 엔진을 호출하는지 확인해보세요. 들어오는 결과 자체가 오래된 것이라면 모델이 그걸 고칠 수는 없습니다.

SearXNG에 로테이팅 프록시 풀과 사용자 에이전트 스푸퍼를 사용하면 봇 탐지를 우회하는 데 도움이 됩니다. 여전히 오래된 결과가 나온다면 거기서부터 시작해보세요.