AI 에이전트의 메모리 계층은 완전히 망가졌음
Memory layer for AI agents is totally FUCKED
핵심 요약
AI 에이전트 메모리 SDK들이 정보 갱신과 개체 식별을 제대로 처리하지 못하는 문제점을 지적함.
- 메모리 갱신 실패 — 새로운 정보가 들어와도 기존 정보를 삭제하지 않고 병렬로 저장함
- 개체 식별 부재 — 동일 인물을 다른 이름으로 부를 경우 서로 다른 개체로 인식함
- 벡터 검색의 한계 — 단순 유사도 기반 검색으로는 논리적 모순 해결이 불가능함
- 해결책 제안 — 정보 갱신에는 키-값 저장소를, 개체 식별에는 그래프 구조 도입이 필요함
에이전트 하나 만들고 있는데 메모리 레이어가 필요해서 메모리 SDK 4개를 테스트해보고 하나를 골랐거든. 똑같은 테스트를 4개 툴에 다 돌려봤어. 세션 1에서 에이전트한테 나 다크 모드 쓴다고 알려주고, 세션 5에서 라이트 모드로 바꿨다고 말한 다음, 세션 8에서 나 지금 무슨 모드 쓰냐고 물어봤지. 근데 전부 다 이전 답변이랑 바뀐 답변을 둘 다 뱉어내더라. 모델이 그냥 질문이랑 더 잘 맞는 걸 골라서 대답하는 식이라, 질문 방식에 따라 어떨 땐 다크 모드라 그러고 어떨 땐 라이트 모드라고 함.
새로운 정보가 들어왔을 때 기존 정보를 지워버리는 놈이 하나도 없었어. 하나는 그냥 옛날 거 옆에 새 정보를 붙여넣고, 다른 하나는 아무런 연결 고리도 없이 따로 저장하고, 또 하나는 평소엔 최신 정보를 주다가 질문을 살짝 비틀면 옛날 정보를 다시 꺼내오더라. 마지막 놈은 아예 모순된 정보를 처리할 줄 몰라서 내가 직접 들어가서 수정해야 했음.
엔터티 리졸루션(entity resolution)도 테스트해봤어. 한 세션에선 내 이름이 vansh이라고 하고, 다른 세션에선 인도에서 온 vansh이라고 하고, 세 번째 세션에선 VS라고 해봤거든. 하나는 항목을 3개로 따로 만들고, 하나는 앞의 두 개는 연결했는데 줄임말은 못 알아먹고, 하나는 셋 다 다른 사람인 줄 알고, 마지막 하나는 아예 엔터티 리졸루션 기능 자체가 없음.
이게 메모리라면 당연히 처리해야 할 가장 기본적인 기능 두 가지인데, 제대로 하는 놈이 하나도 없더라.
혹시 메모리 툴 찾고 있으면 세션마다 바뀌는 정보를 하나 던져주고, 같은 사람을 세 가지 다른 방식으로 언급해봐. 이거 둘 다 해결 못 하면 그냥 옛날 대화 내용 뒤져서 제일 비슷해 보이는 거 뱉어내는 수준인 거니까 거르면 됨.
혹시 이거 둘 다 제대로 처리하는 툴 아는 사람 있으면 좀 알려줘.
