에이전트 AI 메모리는 데이터 축적 문제가 아니라, 가지치기(pruning) 문제다.
핵심 요약
에이전트 AI의 메모리 효율성을 위해 무분별한 데이터 축적보다는 인간의 기억 체계를 모방한 전략적 가지치기가 필요하다는 주장.
- 메모리 전략 — 데이터 축적보다 가지치기가 효율적임
- 인간 기억 모델 — 감각, 단기, 장기 기억 체계를 에이전트에 적용함
- 장기 기억 분류 — 의미 기억과 일화 기억으로 나누어 중요도에 따라 관리함
- 토큰 효율성 — 고품질 컨텍스트를 유지하면서 토큰 사용량을 줄임
이 문제를 몇 달간 연구한 끝에, 메모리에 데이터를 쌓아두는 것이 답이 아니라 가지치기가 답이라는 결론에 도달했다.
시스템에서 무엇을 유지하느냐보다 어떻게, 무엇을 가지치기하느냐가 훨씬 중요하다. 이는 인간이 기억하는 방식과 매우 유사하다. 인간은 기억을 다듬으면 감각 기억, 단기 기억, 장기 기억의 세 가지 유형으로 유지한다.
감각 기억은 복제할 수 없고, 단기 기억은 세션 컨텍스트 윈도우에 해당한다. 해결해야 할 문제는 장기 기억이다.
인간은 장기 기억 시스템에 정보를 쌓아두지 않고 시간이 지나면서 정보를 가지치기한다. 이 가지치기는 균일하게 일어나지 않는다. 기억은 감쇠율을 결정하는 하위 범주로 더 나눌 수 있다. 예를 들어, 인간은 의미 기억과 일화 기억이라는 두 가지 유형의 장기 기억을 가진다. 인간은 일화 기억에 트라우마 같은 것이 결부되어 중요도가 높기 때문에, 반복적으로 떠올리지 않아도 오랫동안 기억하는 경향이 있다.
이제 우리의 에이전트 메모리 시스템을 인간의 기억 시스템을 모델로 삼아 설계한다면, 더 적은 토큰을 소비하면서도 고품질의 컨텍스트를 생성할 수 있을 것이다.
이 방향으로 어느 정도 진전이 있어서 내 연구 결과를 아래에 공유한다.


