에이전트가 3단계 앞을 내다보게 하는 것을 그만뒀더니, 신뢰도가 빠르게 개선됨

저도 같은 경험을 했습니다. 문제는 모델의 계획 능력 자체가 아니라, 단계 사이의 세계 상태가 모델이 예측할 수 없는 방식으로 변한다는 점입니다. 저희도 똑같은 결론에 도달했는데, 에이전트에게 명확한 종료 조건이 있는 촘촘한 '관찰-행동' 루프를 주는 것이 다단계 계획보다 훨씬 효과적이었습니다. 또 도움이 됐던 건 각 행동에 대해 실패가 무엇인지 명시적으로 알려줘서, 잘못된 가정 위에 계획을 이어가지 않고 언제 중단해야 할지 알게 하는 것이었습니다.

우리한테 효과 있었던 방식은 우선순위대로 세 가지로 요약됨. (1) 계획과 실행을 분리하기. 에이전트는 계획(생각이 아니라 기록)을 받고, 그 계획에 따라 실행함. 자기 기록은 읽을 수 있지만 작업 도중에 새로운 계획을 짜지는 않음. 즉, 작업 도중 실패해도 계획이 틀어지지 않음. 마지막으로 성공한 단계부터 다시 실행하면 되니까. (2) 작업 단위가 아니라 턴 단위로 tool call 횟수 제한하기. 턴 단위 예산은 에이전트가 특정 범위 내에서 진척을 내게 강제하지만, 작업 단위 예산은 에이전트가 딴짓하게 만듦.

평가상의 착시가 아니라 실제 패턴입니다. 3단계 계획을 망치는 건 모델의 추론 능력이 아니라, 1단계의 결과가 2단계와 3단계의 계획 전제를 무효화하기 때문입니다. 전형적인 'stale-state(낡은 상태)' 문제죠. t0 시점의 세계 상태를 기준으로 계획을 세웠는데 t1 시점의 상태에서 실행하니 그 간극에서 신뢰도가 박살 나는 겁니다. 단기적 시야가 효과적인 이유는 매 결정마다 새로운 관찰을 강제하기 때문입니다. 에이전트가 똑똑해진 게 아니라, 세상에 대해 틀릴 시간이 줄어든 것뿐이죠.

좋은 피드백이네, 우리가 얻고 있는 결론도 딱 그거야.