지금까지 에이전트 AI를 쓰면서 겪은 가장 큰 문제는 무엇인가요?

실질적이고 100% 확실한 하드 가드레일/벽을 구현하는 거. 아니, 어떤 메모리 시스템을 쓰든 시스템 프롬프트로도 이건 안 됨. 어떻게 말을 바꿔도 소용없음.

맞아, LLM 자체가 제어하게 만드는 시스템은 무조건 실패하게 돼 있음. 외부에서 강제할 무언가가 필요해. 훅 같은 게 유용한 메커니즘이고, 코드라면 CI 같은 거 말이야. 진짜 골치 아픈 건 똑똑한 모델은 그걸 우회할 방법을 찾아낸다는 거지... 오토 모드에서 Codex랑 Claude가 거부당했다가 접근 방식을 살짝 바꿔서 다시 시도하는 걸 보고 있으면 좀 무섭더라.

가장 큰 건 상태 드리프트임: 도구 몇 번 호출하고 나면 제약 조건을 까먹고 엉터리나 부분적인 도구 출력값을 기반으로 추론하기 시작해서, 루프에 빠지거나 내가 승인하지 않은 짓을 함. 효과 본 유일한 해결책은 엄격한 도구 I/O 검증(빠른 실패), 외부 상태 저장소에 제약 조건 고정, 그리고 강제 리셋을 위한 하드 스텝/시간 제한을 거는 거였음.

가장 치명적인 실패는 그럴듯한 완료임. 에이전트가 잘못된 상태를 바꿔놓고도 성공했다고 보고하는 거지. 모든 작업에 대해 결과를 검증할 수 있는 별도의 확인 절차를 요구해야 함. 재시도는 어떻게든 되지만, 거짓 성공은 이후의 모든 과정을 망쳐버리니까.

같은 실패 단계를 반복하는 건 보통 모델 문제라기보다 상태 추적 문제임. 에이전트가 재시도하는 이유는 컨텍스트에 '이 작업은 이런 이유로 이미 실패했다'는 정보가 없어서임. 그래서 모델 입장에선 매번 새로운 시도를 하는 것처럼 보임. 실패한 시도를 일급 이벤트로 기록하고 다음 도구 호출 전에 최근 N번의 실패를 컨텍스트에 넣어주면, 루프는 거의 사라짐. 모델이 막다른 길을 실제로 보게 되거든. '내가 승인하지 않은 작업을 수행하는' 문제는...