AI 에이전트 대화 컨텍스트 데이터 관리 방법 문의

전형적인 '컨텍스트 윈도우는 데이터베이스가 아니다'라는 벽에 부딪힌 거임. 특히 표 같은 원본 툴 출력값을 그대로 넘기는 건 함정이야. 대화 기록에 들어가기 전에 툴 출력값을 몇 가지 핵심 통계나 자연어 요약으로 변환해 봐. 에이전트가 추론을 위해 원본 데이터가 필요하다면, 턴이 끝나면 삭제되는 별도의 스크래치패드에서 처리하고 결론만 메인 컨텍스트에 주입하는 식으로 해.

대화 기록에서 최근 몇 턴의 LLM 출력값을 안 넘겨도 괜찮을까?

우리도 비슷한 문제를 겪었음. 원본 툴 출력값을 넘기는 건 몇 턴 지나면 확장성이 전혀 없음.

우리한테 효과적이었던 건 전체 결과는 컨텍스트 밖에 두고, 모델한테는 짧은 요약과 참조 ID 정도만 주는 거였어. 나중에 사용자가 그 데이터에 대해 다시 물어보면, 매번 들고 다니는 대신 그때그때 다시 불러오는 거지.

내가 뭘 놓치고 있는 건진 모르겠지만, 100만 토큰이라니 모델이 실제 필요한 것보다 훨씬 많은 걸 기억하고 있는 것 같아. 툴을 다시 로드할 수 없는 이유가 있어?

100만 토큰은 대화 기록에서 나오는 게 아님. 대화 기록은 2만 토큰 정도야. 나머지는 스키마 결과나 빅쿼리 결과 같은 ReAct 턴 전반에 걸친 툴 출력값에서 나오는 거임. 일단 대화 컨텍스트를 줄이고 나서 스키마 출력 데이터 압축 작업을 하려고 해.

이건 에이전트 시스템에서 가장 큰 난제 중 하나임. 컨텍스트가 많다고 항상 더 똑똑해지는 건 아니거든. 흔히 쓰는 방법은 단기 컨텍스트랑 장기 메모리를 분리하는 거임:

• 현재 작업에 필요한 정보만 활성 컨텍스트에 유지하기
• 모든 걸 다시 재생하는 대신 이전 상호작용 요약하기
• 구조화된 지식은 원본 대화 기록이랑 따로 저장하기
• 모든 데이터를 미리 다 집어넣는 대신 필요할 때 관련 정보만 가져오기