두 번이나 겪은 문제인데, 저만 이런 건 아니겠죠?

지속적 메모리를 가진 에이전트를 만들었습니다. 테스트할 때는 아주 잘 작동했죠. 그래서 배포했습니다. 3주 후, 사용자가 에이전트가 이상하게 행동한다고 보고합니다. 잘못된 추천을 하거나, 분명히 설정한 환경 설정을 무시한다는 겁니다. 디버깅을 하려고 보니...

깨닫게 됩니다. 지금 에이전트의 메모리에 무엇이 들어있는지, 어떻게 들어갔는지, 언제 변경되었는지 전혀 알 수 없다는 사실을요.

현재 상태를 쿼리할 수는 있습니다. 하지만 이런 질문에는 답할 수 없죠.

• "5월 1일에 이 에이전트는 이 사용자에 대해 어떻게 생각했지?"
• "어떤 대화 때문에 이 잘못된 사실이 저장된 거지?"
• "이 기억은 원래부터 있었나, 아니면 무언가가 원래 내용을 덮어쓴 건가?"

Mem0, LangGraph, LangChain 모두 검색(retrieval)에는 훌륭합니다. 하지만 그중 무엇도 감사 가능성(auditability)을 위해 만들어지지는 않았습니다. 그건 완전히 다른 문제니까요.

저는 바로 이 문제를 해결하기 위해 오픈소스 파이썬 라이브러리를 만들고 있습니다. 이미 사용 중인 메모리 스택을 감싸서 다음 기능을 추가합니다.

✓ 모든 메모리 작업에 대한 변경 불가능한 append-only 감사 로그
✓ 전체 계보 — 대화 → 추출 → 메모리 사실 → 검색
✓ 과거 메모리 상태를 재구성하는 시점 복구(Time-travel) 쿼리
✓ 추출 파이프라인이 발전할 때를 대비한 스키마 버전 관리

Mem0이나 LangGraph를 대체하려는 게 아닙니다. 그 위에 얹는 가벼운 관측 레이어일 뿐입니다.

커뮤니티에 질문이 있습니다:

• 실제로 프로덕션에서 이런 디버깅 문제를 겪어보셨나요?
• 기업에 계신 분들께 묻습니다: 메모리 감사 기능의 부재가 팀의 엔터프라이즈 AI 에이전트 도입을 가로막고 있나요?
• 직접 로깅 시스템을 만드는 대신 이런 도구를 사용하게 만들려면 어떤 기능이 필요할까요?

아직 초기 설계 단계라, 헛수고를 하기 전에 검증을 받고 싶습니다. 아이디어가 멍청하다면 가차 없이 비판해주세요.