웹사이트 전체를 에이전트에 덤프하는 건 성능을 떨어뜨릴 뿐인데 다들 왜 이러는 걸까

맞음, 뭘 가져오기 전에 경로로 필터링해야 함. 2019년 블로그 게시물들이 그 덤프 중에서도 최악인데, 지금 제품이 어떻게 작동하는지에 대해 자신 있게 틀린 소리를 하기 때문임.

이 부분은 완전히 반대함. 당신은 잘못된 실패 사례에 최적화한 것 같음.

스토리지 비용은 저렴함. 나는 일단 가져와서 인덱싱 시점에 필터링함. 나중에 내 필터가 틀렸다는 걸 알게 되면(항상 그렇듯이), 도메인 전체를 다시 크롤링하는 것보다 설정 하나 바꾸는 게 훨씬 나음.

나는 노이즈 때문에 고생한 것보다 지나치게 열성적인 제외 설정 때문에 고생한 적이 훨씬 많음. 노이즈는 검색 품질을 떨어뜨리는데, 이건 하루 만에 알아챌 수 있음. 하지만 누락된 섹션은 내가 존재조차 몰랐던 답변을 못 하게 만드는데, 이건 사용자가 발견하기 전까지는 알 수 없어서 훨씬 더 치명적임.

이게 내 주장에 대한 가장 강력한 반론이라 딱히 깔끔한 답변은 없네.

이건 꼭 말해야겠는데, 크롤링 깊이(depth)는 경로보다 훨씬 더 나쁜 필터임. 구조가 엉망인 사이트에서 깊이 2로 설정했더니 블로그 아카이브는 전부 긁어오고 정작 문서 페이지는 하나도 못 가져왔음.

3000페이지 넣고 검색 성능 떨어지는 건 다들 한 번씩 겪는 통과의례 같은 거지. 다들 직접 당해봐야 정신 차리더라 ㅋㅋ

경로 필터링을 하면 특정 작업에 가장 중요한 페이지가 걸러질 수도 있음.

법률 관련 페이지는 제품 요약할 땐 노이즈지만, '오늘 구독 취소할 수 있나요?' 같은 질문엔 필수잖아.

필터를 영구적으로 적용하기 전에, 흔한 질문들이랑 좀 까다로운 질문들을 섞어서 작은 테스트 셋을 유지하는 걸 추천함.

크롤링 시점 필터링을 지지하는 가장 강력한 근거는 arthaudm이 말한 부분임. 까다로운 실제 질문들을 작은 세트로 유지하고, 크롤링이나 필터 변경 때마다 다시 돌려보는 거임. 올바른 청크가 검색됐는지, 답변이 그 근거를 바탕으로 나왔는지 점수 매기면서. 우리는 코퍼스 버전을 관리해서 품질이 떨어지면 어떤 크롤링에서 문제가 생겼는지 바로 찾아냄. 추측할 필요가 없지. 대부분의 경우 문제는 필터 규칙이 아니라 아무도 눈치채지 못한 사이트 변경임. 리디자인 때문에 문서 절반이 고립되는 경우 같은 거. 테스트 셋이 있으면 바로 잡히는데, 없으면 그냥 '느낌'으로 디버깅하는 꼴임.

맞음, 이커머스는 내 논리가 안 통함. 글에 미리 언급했어야 했는데.

문서 사이트는 구조가 예측 가능한데, 카탈로그는 URL 자체가 곧 콘텐츠라 필터링할 게 없음. 내가 말한 문제랑은 완전히 다른 영역임.