ChatGPT 토큰 제한 걸리면 다들 컨텍스트 날려먹나요?

경험상 토큰 제한의 절반 정도에 도달할 때쯤이면, 이미 에이전트가 느려지고 혼란스러워하면서 실수를 많이 하기 시작함

올해 초에 이 문제 때문에 고생하다가 Github, Linear, 자동 세션 관리 프로토콜을 사용한 백엔드 메모리 시스템을 구축했음.

전략, 아키텍처, 빌드 이렇게 세 가지 세션 유형을 씀. 세션 간에 컨텍스트를 절대 잃어버리지 않고, 프로젝트의 핵심 경로가 뭔지 항상 파악하고 있으며 다음 세션도 실행 대기 중임. 이제는 오케스트레이션 레이어를 구축하는 단계라 내가 직접 세션을 돌릴 필요도 없음. 그냥 목표와 요구사항만 설정하면 하루 끝에 결과물을 검토하기만 하면 됨.

질문 있으면 여기서 답해주거나 DM 주셈.

아니면 그냥 프로젝트 기능을 쓰거나, CLI 쓸 때 md 파일 + 지시사항을 쓰면 되지 않음? 한 세션 안에서 서브 에이전트들이 다 하게 할 수도 있고, 리뷰 에이전트, QA 에이전트, 버그 수정 에이전트를 둬서 전체 과정을 루프로 돌릴 수도 있음.

흠, 2시간 동안 짠 아키텍처를 날려먹는 건 흔한 좌절인 듯

누구나 겪는 일임. 나한테 효과적이었던 건 채팅이 길어지기 전에 짧은 인수인계 노트를 요청하는 거였음: 결정된 사항, 이유, 다음 할 일. 그걸 새 채팅에 붙여넣으면 몇 분 안에 복구됨.

더 좋은 방법은 그걸 파일로 만드는 거임. 주제별로 하나씩 만들어서 시간이 지나면서 계속 업데이트하는 거지. 소프트웨어 프로젝트라면 코드 옆에 사양서 역할을 하는 md 파일을 두면 됨. 이렇게 하면 옛날 대화 찾을 필요 없이 필요할 때마다 재사용할 수 있음. 팀 단위로 작업할 때도 확장 가능하고 AI가 향후 모든 개발 과정에서 참고할 수 있음.

예를 들어 아키텍처를 결정했다면 architecture.md에 넣으셈. 유닛 테스트 작성 방식을 정했다면 unittests.md에 넣고. AI가 코딩이나 테스트를 작성해야 할 때마다, 'md 파일에 있는 아키텍처/컨벤션/사양을 사용해서 기능 XWZ를 구현해줘'라고 프롬프트를 넣으면 됨.

이건 방법론의 문제임. 채팅 기록은 여러 이유로 장기 저장소로 쓰기에 신뢰할 수도 없고 적합하지도 않음.

아키텍처나 디자인 같은 걸 논의할 때는, 결정된 사항이나 배운 점, 장단점 등을 문서로 출력해야 함.

그러면 나중에 다시 논의하고 싶을 때 옛날 채팅 기록을 찾을 필요 없이 모든 게 바로 준비되어 있음. 프롬프트에 'architecture.md를 바탕으로 이 부분을 도전/논의/개선하고 싶어'라고 말하면 바로 본론으로 들어갈 수 있음. 6개월 뒤에 다른 AI나 도구를 써도 가능함. 팀원이나 채팅 기록에 접근 권한이 없는 오픈소스 기여자도 마찬가지고.

요즘 '사양을 코드로(spec as code)' 관리하는 게 엄청난 트렌드임. 사양을 코드와 함께 git에 md 파일로 저장하는 거지. 인간과 AI 모두가 접근할 수 있음. 새로운 기능이나 아키텍처가 필요하면 사양에 추가하고 AI한테 구현하라고 한 뒤, 다 되면 사양에 맞춰서 다시 확인하고 코드나 사양을 수정하게 하면 됨.

이점은 엄청남. 더 이상 1개의 채팅 대화에 얽매이지 않아도 됨. 사양서는 현재 프롬프트와 코드 위에 프로젝트에 대한 또 다른 관점을 제공함. AI에게 더 많고 좋은 컨텍스트를 줘서 더 일을 잘하게 만듦. 팀으로 일할 때 확장 가능한 공유 컨텍스트이기도 하고. 전문적인 소프트웨어 개발에서 사양서는 당연히 결과물 중 하나임.

그래서 나라면, 현재 대화에서 막히지 않도록 컨텍스트가 더 큰 다른 LLM을 선택했을 거고, 논의한 아키텍처를 관련 문서로 출력하게 한 뒤, 새 대화에서 그걸 참조했을 거임.

컴퓨터 과학 프로젝트가 아니라면, 그냥 AI한테 파일에 메모를 남기라고 시키는 거랑 같음.

난 그냥 전체 채팅 기록을 새 창에 붙여넣고 '요약' 기능을 써서 새로 시작했음. 수동으로 불렛 포인트 만드는 것보다 더 잘 작동하더라.