AI는 올바르게 망각하는 법을 배워야 한다!

RAG나 에이전트 메모리 품질이 세션이 길어짐에 따라 어떻게 변하는지 체계적으로 살펴본 사람 있나요?

에이전트가 15~20단계 이상 진행되면 눈에 띄게 정확도가 떨어지는 걸 발견했어요. 모델 성능이 저하되는 게 아니라, 검색된 컨텍스트가 시간이 지날수록 더 노이즈가 많아지기 때문인 것 같아요. 오래된 도구 출력값, 낡은 결정들, 더 이상 관련 없는 정보들이 실제로 유용한 메모리와 경쟁하고 있는 거죠.

제 직감으로는 이건 저장 문제라기보다 검색 문제인 것 같아요. 하지만 이와 관련해서 작성된 글은 별로 못 봤네요.

정말 확신이 안 서는 몇 가지가 있어요:

— 이게 알려진, 문서화된 패턴인가요, 아니면 제가 노이즈에서 패턴을 찾고 있는 건가요?
— 다들 요즘 이걸 어떻게 처리하고 있나요? 수동으로 가지치기하나요? 아니면 그냥 무시하나요?
— 해결책이 단순히 업스트림에서 더 나은 청킹이나 임베딩 전략을 사용하는 것뿐인가요?

무언가를 홍보하려는 건 아니에요. 그냥 이 문제로 계속 제자리걸음만 하는 것 같아서, 여기 계신 분들 중 더 깊이 고민해 본 사람이 있을까 싶어 물어봅니다.