6시간 이상 연속으로 AI 에이전트를 실행하면 컨텍스트 윈도우에 실제로 무슨 일이 벌어질까?

맞아, 요약이 진짜 교묘한 문제지. 사실 관계는 남아있는데 실제 '왜'가 조용히 빠져나가거든. 장시간 실행할 때 도움이 됐던 건 더 나은 요약이 아니라, 오리엔테이션(방향성)을 실행 컨텍스트에서 완전히 분리하는 거였어. 그래서 작고 안정적인 정보(제약 사항 + 원래 작업 목적)는 에이전트가 다시 읽는 번들에 담아두고, 변동이 심한 작업 상태만 윈도우에 남기는 거지. 난 이걸 가져올 수 있는 번들 형태로 패키징하고 있어(seed.show).

요약에서 '판단 맥락 vs 사실 맥락'을 구분한 건 진짜 핵심을 찌른 거야. 대부분 이렇게 명확하게 설명 못 하거든. 요약은 무슨 일이 일어났는지는 보존하지만, 왜 특정 제약이 존재했는지나 어떤 트레이드오프가 고려됐는지는 보존하지 못해. 에이전트는 이미 충분한 이유로 내려진 결정들을 다시 논쟁하기 시작하지. 순수 요약보다 나았던 건, 절대 압축되지 않는 별도의 '결정 및 추론' 로그를 유지하는 거야. 전체 맥락이 아니라 핵심 결정 뒤에 숨은 '왜'만 기록하는 거지.

컨텍스트 윈도우는 깔끔하게 저하되는 게 아니라 붕괴해. 모델은 계속 응답하지만 초기 결정에 대한 맥락을 놓치기 시작하지. 항상 명확한 에러가 뜨는 것도 아니고, 원래 목표랑 비교해보기 전까지는 추론하는 것처럼 보이는 미묘하게 잘못된 행동을 보일 뿐이야.

별도의 상태 레이어가 도움이 되긴 하지만, 그건 어떤 제약이 중요한지 미리 알고 있다는 가정하에 작동해. 6시간째의 드리프트는 보통 사실 관계가 아니라 에이전트가 무엇을 중요하게(salient) 여기느냐에서 발생하거든. 고정된 블록은 해석이 변하는 걸 잡아내지 못해. 나한테 더 효과적이었던 건 N 단계마다 재접지(re-grounding) 과정을 거치는 거였어. 고정된 상태로부터 '작업이 무엇이고 현재 계획이 무엇인가'를 강제로 다시 도출하게 하고, 그걸 실제 행동과 비교하는 거지.

요약에 대해 아무도 말 안 하는 게 있는데, 사실만 잃는 게 아니라 추론의 흔적도 잃는다는 거야. 예를 들어 요약본에는 'X를 시도했으나 Y 때문에 실패함'이라고 적혀있지만, 에이전트는 '왜 Y가 중요했는지'에 대한 3단계 맥락을 모르는 상태거든. 그래서 약간 다른 방식으로 X를 다시 시도하고 무한 루프에 빠지는 거지. 에이전트들이 몇 시간 동안 API 크레딧을 태우면서 이러고 있는 걸 많이 봤어.

요약은 사실을 보존하지만 시간이 지날수록 의도와 결정 맥락을 잃어버려. 우리한테 가장 도움 됐던 건 대화 메모리와 분리된 지속적인 '미션/상태' 레이어를 유지하는 거였어. 덕분에 에이전트가 최근 컨텍스트로 표류하지 않고 항상 원래 제약 사항에 다시 고정(re-anchor)될 수 있었지.