모델 성능이 개선되어도 밤새 작업하면 딴짓하는 Codex

프롬프트 문제가 아님. 컨텍스트와 범위를 벗어날 때 이를 감지하는 결정론적 체크가 문제임. 에이전트가 루프에 빠지는 이유는 다양하지만, 대부분은 출력을 검증하는 가드레일 때문임. 예를 들어 난 사용자 번들과 무엇이 어디에 속해야 하는지에 대한 명확한 제한 가이드라인이 있음. 잘못된 레이어에서 잘못된 걸 임포트하면 -> 에러 발생. 이게 내가 에이전트를 확인하는 방식임.

참고로 비어있거나 작은 프로젝트에서 긴 루프를 돌리는 건 추천 안 함. 잘못될 가능성이 있는 건 결국 잘못됨. 에이전트가 효율적으로 작동하고 유지보수 가능한 결과물을 내놓길 원한다면 아키텍처, 컨벤션, 가드레일을 먼저 구축해야 함.

절대 안 될 거다, 형. 내 말 믿어. 난 Astra가 작업을 수정하게도 해봤고, Claude가 수정하게도 해봤음. Claude Code나 루틴도 마찬가지고. 걔들은 항상 결과물도 별로 없이 헛도는 루프로 돌아갈 거야. 걔들은 항상 네 불평이 맞다고 동조하면서 문제를 고치는 척할 거임. 네가 신경 안 쓰는 순간, 그 사이클은 다시 시작됨. 소유자의 윤리를 고려하면 이건 기능임. 예전엔 목표 설정에 꼼수가 있었는데, 최근에 다 막아버렸음. 똑같은 사기극이지.

문제는 시간이 지나면서 초기 범위를 잃어버린다는 거임. 이상적으로는 초기 범위를 가진 감시자 Codex 작업을 두고, 그게 다른 Codex 작업들을 시작시켜서 개별 부분을 완료하게 하고 완료되면 감시자에게 보고하게 하는 게 좋음. 그렇게 하면 원래 범위를 잃을 확률이 낮아지지만, 여전히 가능성은 있음. 집중력을 잃지 않게 가끔 원래 작업 범위를 다시 보내줘야 할 거임.

안타깝게도 이걸 고치려고 할 수 있는 건 별로 없음. 걔가 꼬여서 헛짓거리 하다가 결국 아무것도 안 남기는 건 이미 알려진 결함임. 온갖 종류의 지시를 다 해봤지만 다 무시하더라.