웹사이트 전체를 학습하는 RAG 챗봇을 만든다면, 어떻게 전체 사이트를 크롤링하시겠습니까?

문제는 크롤링인데, 도메인 이름만 입력해서 웹사이트의 모든 페이지를 어떻게 크롤링하고 긁어올지가 관건임

그거 레딧 말고 LLM한테 물어볼 질문 아닌가요?

qora 벡터 DB에 임베딩해라

임베딩은 대충 해결됐는데 크롤링이 문제임

wayback machine CDX 방식이 똑똑하긴 한데, 그 사이트가 실제로 거기서 크롤링된 적이 있어야만 작동함. 만약 잘 알려지지 않은 사이트거나 로그인 벽 뒤에 숨겨진 곳이라면 답이 없지. 솔직히 말해서 그냥 아무 도메인이나 한 번 긁어오는 거라면 일단 sitemap.xml부터 찔러봐. 대부분 사이트엔 이게 있고, 이게 가장 날로 먹기 좋은 방법임. 만약 그것도 안 되면 그때부턴 재귀적 스크래핑 영역으로 넘어가야 하는데, 이건 단일 API 호출이랑 비교하면 로제타석을 손으로 쪼는 수준의 노가다지만, 현실이 그런 걸 어쩌겠어.

솔직히 말해서 그 제약 조건들은 서로 충돌함. API 호출 한 번 + 몇 초 이내 + 사이트맵 없음 조합이면 이건 크롤링이 아니라 그냥 찍기임. 내가 써본 방법은 일단 robots.txt부터 찔러보는 거임. /sitemap.xml에서 404 떠도 80% 정도는 거기 사이트맵 링크가 있거든. /sitemap_index.xml이나 워드프레스 관련 경로도 찔러볼 만함. 만약 진짜 아무것도 없으면, 제대로 된 크롤링은 재귀가 필요한데 그럼 몇 초나 API 한 번으로는 불가능함. 나라면 요구사항 정한 사람한테 솔직하게 말할 듯: 사이트맵을 받아들이거나...

요구사항들이 서로 모순됨.

'몇 초 안에 완료, 사이트맵 없음, 모든 URL 반환, 단일 API 호출' - 이 네 가지를 다 만족할 순 없음. 사이트맵 없이 크롤링한다는 건 링크를 재귀적으로 따라가야 한다는 뜻인데, 이건 본질적으로 여러 번의 요청이 필요하고 사이트 깊이에 따라 시간이 걸릴 수밖에 없음.

만약 사이트맵이 있다고 가정하면: /sitemap.xml을 가져와서 파싱하면 끝임. 호출 한 번에, 몇 초 안에, 거의 공짜로 가능. 근데 사이트맵이 없다고 가정하라고 했잖아.

네 조건에 가장 근접한 현실적인 답: Firecrawl이나 Jina 같은 서비스를 써서...

몇 가지 방법을 테스트해 봤는데, 실제로는 속도와 커버리지 사이에 항상 트레이드오프가 있더라. sitemap 없는 사이트에서 URL 빠르게 긁어올 때 qoest API 써봤는데 꽤 괜찮았음. 여러 서비스 엮어서 쓸 필요 없어서 편했음.

RAG 파이프라인 만들 때 나도 똑같은 문제 겪었음. qoest proxy 쓰니까 특히 sitemap 없는 사이트에서 페이지 URL 긁어오는 게 훨씬 쉬워지더라. 커스텀 크롤링 로직 짜느라 고생할 뻔했는데 덕분에 살았음.

솔직히 상황에 따라 다르긴 한데, 작은 사이트라면 빌드 과정에서 사이트의 모든 콘텐츠를 벡터화하고, 임베딩을 호출해서 메모리 내 배열을 검색하는 방식으로 검색 결과를 반환할 수 있습니다. 충분히 가능해요... 저도 해봤거든요.