r/ClaudeCode•약 3시간 전•20•6
Claude를 활용한 BEAM(100K) 기반 오픈소스 AI 메모리 시스템 10종 벤치마크 결과: 2개 시스템이 24~35배 적은 텍스트로 전체 컨텍스트와 대등한 성능 기록
I benchmarked 10 open-source AI memory systems on BEAM (100K) with Claude. Two matched full context while reading 24–35x less text
핵심 요약
BEAM 100K 벤치마크 결과, EverOS와 Hindsight가 적은 토큰으로도 전체 컨텍스트와 유사한 성능을 보였습니다.
- 벤치마크 결과 — EverOS와 Hindsight가 24~35배 적은 텍스트를 읽고도 전체 컨텍스트와 대등한 성능을 기록함
- 시스템별 강점 — EverOS는 지시사항과 사실 관계 유지에, Hindsight는 세부 정보 회상에 강점을 보임
- 평가 방식 — Claude Haiku를 활용해 3개 대화, 60개 질문으로 10개 메모리 시스템의 성능을 측정함
- 한계점 — 60개 질문으로는 상위권 시스템 간의 성능 차이를 명확히 구분하기 어려움
TL;DR
-
EverOS(70.1%)와 Hindsight(67.8%)가 제일 잘함. 얘네는 전체 대화 내용을 다 줬을 때(69.5%)랑 비슷한 점수를 뽑아내면서도 읽는 텍스트 양은 24~35배나 적음. 단순 키워드 검색보다 확실하게 앞선 유일한 두 놈임.
-
EverOS는 채팅을 날짜별 메모로 저장하는데, 덕분에 지시 사항이나 타이밍, 계속 바뀌는 사실 관계 파악하는 데 아주 강함.
-
Hindsight는 정확한 세부 정보 끄집어내는 데는 원탑임.
-
질문이 60개밖에 안 돼서, 3위부터 8위까지는 순위 차이가 딱히 의미 없음.
결과
| Rank | System | Score (95% CI) | Retrieved tokens | Retrieval p50 | Ingest time (3 convs) | Ingest cost (US$) |
|---|---|---|---|---|---|---|
| 1 | EverOS | 70.1% (61.7–77.8) | 3,336 | 1.2 s | 14 min | $1.05 |
| – | Full context (baseline) | 69.5% (59.9–78.3) | 115,541 | – | – | – |
| 2 | Hindsight | 67.8% (58.9–75.8) | 4,913 | 2.2 s | 13 min | $1.50 |
| 3 | Cognee | 62.7% (53.1–71.4) | 23,263 | 2.9 s | 12 min | $1.02 |
| 4 | memsearch | 61.8% (52.7–70.8) | 1,822 | 0.2 s | 10 min | $0 (no LLM) |
| 5 | OpenViking | 61.5% (51.9–70.9) | 1,431 | 1.4 s | 77 min | $0.76 |
| 6 | MemPalace | 61.0% (51.1–70.6) |
