나만의 데이터를 기반으로 답변하는 AI 챗봇을 만들었습니다 (일반적인 ChatGPT 응답 아님)

나도 고객 지원, 내부 위키, 영업 지원용으로 RAG 봇 직접 만들어봤는데, 제일 중요한 건 'PDF랑 대화하기'가 아니라 범위를 엄격하게 제한하는 거더라. 각 봇을 특정 업무(예: 청구 관련 질문만, API 사용법만)에만 고정하고, 구조화된 데이터(DB, CRM, 상태 페이지)를 먼저 연결한 다음 문서를 보조로 쓰는 게 효과적이었음. 빌드하는 시간보다 평가하는 데 시간을 더 썼는데, 실제 티켓 샘플링해서 답변 점수 매기고 통과했을 때만 배포했음.

그게 단순 챗봇이랑 차이를 만드는 지점이지. 계속 화이팅해.

'사람이 몇 명 있나요?' 같은 수량 질문하면 정확하게 답변함? 임베딩 저장하는 DB는 뭐 썼어? 임베딩 생성 모델은 뭐고 청킹은 어떻게 했어? 임베딩 업데이트는 어떻게 함?

응, 하이브리드 서치 쓰면 수량 관련 질문도 정확하게 답변 가능해. 벡터 서치(의미론적 이해)랑 스파스 리트리벌(BM25)을 결합하면 됨. 임베딩은 Pinecone이나 Qdrant 쓰면 되고, 난 구글 제나이 임베딩이나 센텐스 트랜스포머 사용함.