AI 에이전트의 메모리 관리 방식에 대한 진지한 질문
Genuine question about how you all handle agent memory
핵심 요약
AI 에이전트가 단순히 유사한 정보를 찾는 것을 넘어, 과거의 성공과 실패를 학습하는 메모리 구조를 어떻게 구축할지에 대한 고민을 나눕니다.
- 메모리 한계 — 벡터 검색은 유사성만 찾을 뿐 실제 성공/실패 여부를 구분하지 못함
- 계층적 메모리 — 신뢰할 수 있는 사실과 임시 검색 컨텍스트를 분리하는 전략
- 자동화된 학습 — 에이전트가 스스로 무엇을 저장하고 업데이트할지 결정하는 구조
- 실무적 접근 — 복잡한 플랫폼 대신 파일 시스템과 JSON을 활용한 메모리 관리
나는 계속 같은 벽에 부딪히고 있는데, 이게 나만 겪는 문제인지 알고 싶음.
내가 시도해 본 모든 메모리 설정은 기본적으로 모든 것을 임베딩하고 가장 가까운 것을 가져와서 컨텍스트에 집어넣는 방식임. 문제는 에이전트가 내가 질문하는 내용과 그저 관련 있어 보이는 것들을 기억하게 된다는 거임. 실제로 지난번에 효과가 있었던 내용이 아니라. 그래서 에이전트는 3세션 전에 이미 실패했던 경로를 아무런 문제 없이 다시 가려고 함. 그 경로가 막다른 길이었다고 말해주는 게 아무것도 없기 때문임.
데모 단계를 넘어 에이전트를 사용해 본 사람들에게 묻고 싶음. 이게 실제로 어디서 가장 큰 문제가 됨? 장기 실행 에이전트, 다중 세션, 코딩 에이전트, 지원, 음성 중 어디임? 그리고 솔직히 지금 이걸 어떻게 해결하고 있음? 더 큰 컨텍스트 윈도우? 검색되는 내용을 수동으로 조정? 메모리를 직접 큐레이팅? 아니면 더 나은 방법이 없으니 그냥 감수하고 있음?
계속 궁금한 다른 점은 이거임: 단순히 비슷해 보이는 것이 아니라, 결과가 좋았는지 나빴는지 실제로 파악해서 그에 기반해 메모리를 유지하는 무언가가 있다면, 돈을 지불할 가치가 있을까, 아니면 그냥 있으면 좋지만 굳이 사지는 않을 기능일까?
나는 이 분야에서 무언가를 만들고 있어서, 이 질문을 그냥 참고로 봐주길 바람. 대부분은 그냥 다른 사람들도 이런 고통을 느끼는지, 아니면 나 혼자만 아무도 겪지 않는 문제를 고민하고 있는 건지 알고 싶을 뿐임.
