RAG 파이프라인에서 청킹(Chunking)은 어떻게 처리하시나요?

핵심 요약

RAG 파이프라인 구축 시 문서 유형에 따른 맞춤형 청킹 전략의 필요성과 구현 방법에 대해 논의함.

• 청킹 전략 — 모든 문서에 동일한 방식을 적용하기보다 문서 유형과 구조에 맞춰 전략을 조정해야 함.
• 성능 검증 — 특정 문서 하위 집합에 전략을 적용해 보고 리트리버 성능을 확인하는 과정이 필요함.
• 고급 기법 — 계층적 청킹과 지식 그래프를 활용해 의미론적 관계를 유지하고 검색 정확도를 높임.
• 문서 특성 — PDF 표, 대화형 텍스트, 코드 파일 등 문서 형식에 따라 청킹 방식이 완전히 달라져야 함.