AI 메모리 시스템, 오래 쓸수록 신뢰하기 어려워지는 문제

난 메모리 정리용 크론 잡을 돌리고 있어. 30일 넘은 건 구식으로 표시하거나 모순되면 삭제해버림. 14일 된 건 의심스러운 정보, 7일 된 건 낡은 정보로 분류하지. Hermes랑 Honcho 조합도 써봤는데, 정리 안 해도 예전보다 덜 튀더라. 여전히 잘 까먹긴 하지만 지금까지 써본 것 중엔 제일 나음.

완전 동감함. 단순히 크론 잡 돌리는 것 이상의 문제임. 처음엔 메모리 계층화(뭐가 중요한지), 출처(에이전트가 어디서 배웠는지), 버전 관리(일부 메모리만 가진 대체 메모리 생성 가능 여부) 같은 문제들 때문에 골치 아팠거든. 에이전트 간의 상호작용이 많아지면 신뢰도 점수나 업데이트 로직이 훨씬 복잡해짐.

메모리는 시간 흐름에 따라 능동적으로 관리되어야 함.

규모가 커질수록 메모리 문제는 더 심각해짐. 상호작용이 늘어날수록 컨텍스트 윈도우에 정보가 쌓이고, 모델은 옛날 기억을 최근 정보와 똑같은 비중으로 취급하기 시작하거든. 3번 전 대화에서 나온 환각이 갑자기 정설이 되고, 에이전트는 그걸 사실인 양 방어함. 난 모든 저장된 메모리에 신뢰도 점수를 매기고 시간이 지나면 낮은 점수의 기억은 자연스럽게 소멸되도록 설정했어. 완벽하진 않지만, 잘못된 응답 하나가 전체 시스템을 망치는 건 막아줌.

시간 기반 소멸 방식에 가끔 무작위로 정보를 삭제해서 에이전트가 능동적으로 확인하게 만드는 방식이 도움 됨.