코딩 에이전트의 컨텍스트가 쓰레기 데이터로 가득 차는 이유에 대한 인지과학적 설명

모든 게 AI가 쓴 쓰레기는 아니야. 네 의견을 좀 공유해 줄래?

나도 이거랑 비슷한 걸 실험해 본 적 있어. 난 '가비지 압축'이라고 불렀지.

/compact-garbage 명령어를 치면 프론티어 모델이 전체 세션 기록을 읽고, 압축 가능한 인접한 사용자-어시스턴트 메시지 쌍을 찾아내. 그다음엔 원본 세션으로 돌아갈 수 있는 흔적을 남긴 채로 완전히 새로운 세션을 만들어버리지. 컨텍스트를 얼마나 많이 아낄 수 있는지, 거의 치트키 쓰는 기분이었어.

근데 너무 불편해. 코딩 에이전트를 설계하고 계획하는 데는 잘 작동하는데, 다른 작업(글쓰기, 사무, 문서 작업, 프론트엔드 개발 등)에서는 작업 에이전트한테 엄청난 혼란만 주더라고.

꽤 흥미롭네. 폴딩이랑 압축 부분은 에이전트가 경계에서 압축할 수 있게 하는 게 좋다는 최근 엔비디아의 Piz 연구를 떠올리게 해.

난 몇 달 전부터 Pi 안 쓰고 직접 만든 걸 쓰고 있는데, 네 방식은 '관찰 기억(Observational memory)'이랑 아주 비슷해. 여기서 elpapi42가 쓴 워크플로우 글을 찾아봐.

난 지금도 그걸 쓰고 있는데 아주 잘 작동해.

나도 비슷한 포크(fork) 방식을 쓰고 있어. 한 달 정도는 전체 부모 컨텍스트를 다 돌려봤는데 너무 낭비더라고. 일주일 동안 돌린 세션의 메인 컨텍스트가 130~150k 정도 차면 최적화가 안 되거든. 지금은 포크를 할 때 가상 압축을 하고 최근 컨텍스트가 포함된 부모 관찰 풀을 넘겨줘. 캐시는 재사용 안 되지만 컨텍스트 윈도우는 아낄 수 있지.

프로젝트별 세션 간 리콜이랑 의미론적 검색도 추가했어. 에이전트가 관찰 기록에서 정보를 가져오는 데 큰 도움이 돼. 리콜은 너랑 같은 방식인 것 같고 검색은 ask랑 비슷한 듯.

전반적으로 이 시스템은 아주 잘 작동해. 최대한 단순하게 유지해 봐. 모델들이 좋아져서 나도 프롬프트랑 도구들을 많이 단순화했거든.

실험을 좀 더 해봐. 예를 들어 재개 가능한 에이전트나 포크 같은 거. 이미 탄탄한 워크플로우를 가지고 있네!