AI 에이전트가 매번 수정 사항을 까먹나요? 세션 기록을 분석해 반복되는 11가지 수정 패턴을 찾아냈습니다.
Your agent forgets every correction you give it. I built a memory loop that mines session history and found the same 11 corrections repeated across my sessions.
핵심 요약
AI 에이전트의 반복적인 실수를 세션 기록에서 추출해 자동으로 컨텍스트 파일에 반영하는 메모리 루프 도구를 개발했습니다.
- 세션 기록 분석 — 에이전트에게 반복적으로 지적하는 11가지 공통 오류 패턴을 식별함
- 메모리 루프 구축 — 로컬 세션 기록에서 피드백을 추출해 컨텍스트 파일 업데이트를 제안함
- 인간 승인 절차 — 에이전트가 스스로 지시사항을 수정하지 않도록 인간의 검토 과정을 필수화함
- 오픈소스 도구 — 개발한 도구를 통해 에이전트의 지시사항을 효율적으로 관리할 수 있음
[블록 1/9] 코딩 에이전트와의 모든 세션은 제로 베이스에서 시작됩니다. 당신이 수정 사항을 말하면 에이전트는 사과하고, 세션이 끝나면 그 수정 사항도 함께 사라지죠. 저는 이런 식으로 얼마나 많은 피드백을 낭비하고 있는지 알고 싶어서 제 세션 기록(Claude Code, Codex, Cursor)을 분석해 봤습니다. 그 결과 에이전트에게 입력했던 235개의 피드백을 추출할 수 있었습니다.
[블록 2/9] 피드백들은 세션 전반에 걸쳐 반복되는 11가지 문제로 압축되었습니다. 샘플은 다음과 같습니다:
[블록 3/9] 1. "실제로 구현한 건가요, 아니면 그냥 티켓만 닫은 건가요?" 검증 없이 완료되었다고 주장함.
2. 나쁜 명명 규칙. 기존 도메인 용어와 충돌하는 이름, 읽기 기능도 있는데 Writer라고 이름 붙인 클래스, 이름 변경 후 남겨진 deprecated 별칭들.
3. 이미 존재하는 작업 재수행. 이미 캐싱된 임베딩을 다시 계산하거나, 아무 이유 없이 쿼리 가능한 SQLite 데이터베이스를 JSON으로 덤프함.
4. 침묵하는 긴 작업. 진행 상황 출력이 없어서 에이전트가 멈춘 건지 궁금하게 만듦.
5. "X를 필터링해"라는 말을 오해함. 'X만 보여줘'라는 뜻이었는데 'X를 제거해'로 받아들임.
[블록 4/9] 그래서 저는 제가 원했던 루프를 직접 만들었습니다. 작동 방식은 다음과 같습니다:
[블록 5/9] - 사용하는 도구에서 로컬 세션 기록을 읽어옴 (20개를 인덱싱하는 cass를 통해)
- 피드백 신호를 추출하고 반복되는 패턴으로 클러스터링함
- 원본 대화를 증거로 첨부함
- 컨텍스트 파일(CLAUDE.md / AGENTS.md)에 추가할 내용을 제안하며, 무엇이든 기록되기 전에 사람이 모든 변경 사항을 승인함
[블록 6/9] 승인 관문은 중요합니다. 노이즈가 섞인 피드백으로부터 스스로 지시사항을 조용히 다시 쓰는 에이전트는 표류하기 마련이니까요. 패턴을 추출하고 증거를 첨부한 뒤, 사람이 결정한다. 이 조합이 지금까지 잘 작동하고 있습니다.
[블록 7/9] 사용해보고 싶으시다면:
[블록 8/9] 설치: npx skills add whistler/dreamer --skill dream -g -y
그다음 에이전트에서 /dream을 실행하세요.
[블록 9/9] 여러분이 에이전트에게 계속 입력하는 수정 사항은 무엇인가요? 모두의 1위가 "진짜로 한 거 맞아?"인지, 아니면 저만 그런 건지 궁금하네요.
