Recall 같은 지속적 메모리 레이어는 어떻게 구축하나요?

다들 잘못 알고 있는데, 더 좋은 vector DB가 중요한 게 아니라 검색 전 필터링이 핵심임. Recall 같은 시스템은 그냥 임베딩 때려 박는 게 아니라 랭킹 매기고 압축해서 선택하는 거임. Re-ranking 레이어랑 chunk scoring 추가해서 관련도 높은 상위 3~5개만 넘기는 게 깔끔한 context의 비결임.

필터링도 맞는데 피드백 루프도 필요함. Recall은 어떤 chunk가 응답에 쓰였는지 추적해서 점점 똑똑해지는 거거든. Semantic caching이랑 Cohere 같은 걸로 reranking 해보고, context injection 로그 남겨서 쓰레기 데이터 걸러내셈. 지금은 어떤 임베딩 쓰는지 궁금하네.

개인 AI 에이전트 만들면서 몇 달 굴려본 결과임. 원본 파일 내용을 그대로 임베딩하면 노이즈만 심함. 문서마다 짧은 제목이랑 설명 붙여서 그걸 임베딩하셈. 단어 매칭이 아니라 '무엇에 관한 것인지'로 매칭해야 개인 단위에선 훨씬 정확함. Vector DB는 거르셈. SQLite랑 numpy cosine similarity만 써도 수백 개 문서는 5ms 안에 끝남. 1만 개 넘어가기 전까진 ChromaDB 같은 거 필요 없음.

설명 깔끔하고 좋네.