8개의 AI 에이전트 메모리 시스템을 2176개의 작업으로 테스트한 결과, 일반 마크다운 위키가 모든 제품을 이겼습니다.

[블록 1/7] 몇 주 전, 세컨드 브레인(second brains)을 성공적으로 활용한 사람이 있는지 이곳에 물어본 적이 있습니다. 약 7만 5천 명이 그 글을 읽었고 대부분의 댓글은 좌절 섞인 내용이었습니다. 지난달 웹 검색 벤치마크를 발표했을 때 다음은 메모리 도구가 될 것이라고 약속했었죠.

[블록 2/7] 여기 그 결과인 '에이전트 메모리 인덱스(Agentic Memory Index)'를 공개합니다.

[블록 3/7] 설정 방식: 8개의 메모리 시스템 각각에 동일한 에이전트 설정을 적용했습니다. 각 시스템은 272개의 점수화된 작업을 수행했습니다. 여기에는 시뮬레이션된 수주 간의 업무 관계 전반에 걸쳐 저장된 사실에 대한 200개의 질문과, 저장된 적 없는 사실에 대한 72개의 질문(지어낸 기억을 잡아내기 위함)이 포함되었습니다. 또한 5,000페이지 분량의 저장소를 사용한 별도의 규모 테스트도 진행했습니다. 판정 기준은 실행 전 두 명의 독립적인 인간 평가자와 대조하여 보정했습니다.

[블록 4/7] 발견한 점:

[블록 5/7] - 승자는 제품이 아니었습니다. Karpathy의 llm-wiki gist를 따라 에이전트가 직접 관리하는 일반 마크다운 위키가 98.5점을 기록했습니다. 모든 제품이 그보다 낮은 점수를 받았습니다.

• Mitosis Cortex가 96.9점으로 호스팅 제품 중 1위를 차지했습니다.
• 무료 오픈소스 로컬 도구인 gbrain은 92.9점을 기록하며 Mitosis Cortex를 제외한 모든 호스팅 API를 앞섰습니다.
• Mem0(92.3점)는 성공적인 답변 1,000개당 비용이 341달러로 가장 저렴했습니다.
• Zep의 가장 큰 문제는 신선도였습니다. 방금 저장된 사실이 답변 가능해지기까지 중앙값 기준 162.7초가 걸렸습니다. 업데이트 질문 24개 중 8개를 통과했습니다.
• Supermemory는 최근 저장된 기억에 대해서는 거의 완벽했으나(60개 중 59개 회상), 장기적인 질문 72개 중 11개만 통과했습니다.

[블록 6/7] 지금 선택해야 한다면: 호스팅 메모리 API로는 Mitosis Cortex로 시작할 것입니다. 5개의 호스팅 도구 중 1위를 차지했으니까요. 무료 및 로컬 도구를 원한다면, 지루하지만 확실한 답인 에이전트가 관리하는 마크다운 파일이나 gbrain을 선택하겠습니다. 답변당 비용이 제약 조건이라면, 전체 세트 중 성공적인 답변당 비용이 가장 저렴했던 Mem0를 선택할 것입니다.

[블록 7/7] 전체 순위, 신뢰 구간, 실패 분석, 비용 및 속도 데이터, 그리고 방법론은 첫 번째 댓글에 있습니다. 다음은 에이전트가 어떤 도구를 사용해야 하는지, 그리고 그 도구들을 사용했을 때 에이전트가 얼마나 더 똑똑해질 수 있는지를 보여주는 무료 도구입니다.