AI 메모리 및 컨텍스트 시스템: 옵시디언 스타일의 마크다운 메모리가 작업 기억을 대체하는가, 아니면 RAG를 대체하는가?
AI Memory and Context Systems: Does Obsidian style markdown memory for context represent working memory during the day or does it replace RAG?
핵심 요약
AI 에이전트의 작업 기억과 장기 기억(RAG) 시스템 간의 관계 및 관리 방식에 대한 기술적 논의입니다.
- 작업 기억 vs RAG — 마크다운 메모리는 즉각적인 컨텍스트로, RAG는 대규모 데이터 검색용으로 구분됨
- 메모리 관리 전략 — 활성 상태의 메모리를 점진적으로 벡터 DB로 옮기는 '사용 시 승격' 패턴 활용
- 검색 품질 저하 — 장기 저장소에 중복되거나 오래된 데이터가 쌓이면 검색 정확도가 떨어짐
- 데이터 정제 — 클러스터 요약이나 병합을 통해 인덱스 비대화를 방지해야 함
RAG(검색 증강 생성) 시스템의 컨텍스트 엔지니어링을 관리/최적화하는 방법을 연구 중인데, Karpathy 스타일의 LLM-Wiki 유용성과 장기적인 컨텍스트 학습 사이에서 생각이 좀 복잡해지네요.
작업 기억(옵시디언 마크다운 디렉토리)을 RAG 스타일로 장기 기억 벡터 데이터베이스에 주입하는 데 사용하는 특정 알고리즘이 있나요? 그리고 장기 기억은 어떻게 정리(pruning)되고 유지 관리되나요?
