나만의 에이전트 기반 작업 환경

워크벤치에서 가장 큰 수확은 상태를 가시화하는 거임. 어떤 파일이 바뀌었고, 어떤 가정을 했고, 어떤 툴이 실패했고, 뭐가 사람의 입력을 기다리는지 말이야. 이게 안 되면 에이전트 작업은 감사하기가 너무 힘들어짐.

와 진짜 대담한 실험이네. 에이전트가 대규모 리팩토링 중에 hallucination을 일으키기 시작할 때 context window를 어떻게 다뤘는지 궁금함. 직접 아주 작은 단위로 쪼개야 했음, 아니면 결국 스스로 코드베이스를 더 잘 탐색하는 법을 배웠음?

에이전트가 작업하는 걸 직접 지켜볼 때면 컨텍스트를 계속 확인했음. 컨텍스트가 꽉 차가거나 성능이 떨어지는 게 보이면 /continue 스킬을 실행하게 했지. 기본적으로는 핸드오프 프롬프트나 문서를 만드는 방식임. 그러고 나서 컨텍스트를 비우고 붙여넣는 거지. 근데 시간이 지나면서 메모리가 쌓이고 점점 나아지는 건 맞음. 딱 하나 주의할 점은, 작업 속도가 빠를 때 메모리가 구식이 되면 잘못된 가정이나 행동을 유발할 수 있다는 거임. 그건 좀 조심해야 함.

올해 나도 똑같은 길을 걸었는데, 놀라웠던 건 프롬프트 개선은 금방 한계에 부딪히는데 작업 범위를 줄이는 건 계속 효과가 좋았다는 거임. 파일 기반으로 넘겨주는 작은 단일 목적 작업들이 내가 시도했던 그 어떤 '똑똑한' 에이전트 설정보다 훨씬 나았음. 중간에 작업이 멈추면 어떻게 함? 처음부터 다시 함, 아니면 워크벤치 상태에서 이어서 함?

적어도 나랑 내가 하는 작업들 기준으로는 처음부터 다시 시작하는 건 거의 가치가 없음.