AI 에이전트의 도구/모델이 운영 환경에서 갑자기 변경될 때 어떻게 대처하시나요?

이거 진짜 심각한 문제임. 운영 환경에서 우리를 가장 괴롭히는 건 업스트림 드리프트야: 모델 버전 변경, API 응답 형태 미세 조정, 레이트 리밋 동작 변경, 심지어 도구 인증 스코프가 조용히 만료되는 것까지 말이지.

도움이 많이 된 것들:

• 가능한 한 버전 고정하기 (프롬프트나 도구 스키마도 버전 관리되는 아티팩트로 취급할 것)
• 도구 출력에 대한 계약 테스트(Contract tests) (CI뿐만 아니라 주기적으로 실행)
• 무언가를 롤아웃하거나(또는 모델을 교체하거나) 하기 전에 알려진 프롬프트 세트로 카나리 실행
• 도구 에러율에 대한 알림 설정 등...

아직 골든 셋은 없고, 대부분 관측 가능성(observability)이랑 사용자 신고에 의존하고 있어. 이게 진짜 짜증 나는 부분인데, 너무 사후 대응적인 느낌이거든. 궁금한 게 있는데, 다들 컨트랙트 테스트나 카나리 배포, 아니면 별도 툴로 알림 설정을 직접 하고 있어? 아니면 이걸 하나로 묶어주는 툴이 따로 있나? 그리고 이런 드리프트 추적하는 데 일주일에 시간 얼마나 뺏겨?

이게 바로 내가 AI 시스템에 안정적인 실행 계층이나 제어 계층이 필요하다고 생각하는 이유임. 에이전트가 모든 제공업체랑 직접 상호작용하게 두면 안 됨. 업스트림 모델이나 API 변경을 막을 순 없어도, 예상치 못한 동작을 감지하고, 요청과 응답을 검증하고, drift를 기록하고, 조용히 변경된 내용이 프로덕션으로 퍼지게 두는 대신 안전하게 실패하도록 만들 순 있음. 목표는 변화를 막는 게 아니라, 그런 변화를 관찰 가능하고, 통제 가능하고, 복구 가능하게 만드는 거임.

내가 지금 구상 중인 게 딱 그거야. 에이전트랑 제공자 사이에 끼어서 검증하고, 드리프트 감지하고, 안전하게 실패 처리하는 제어 계층(control layer) 말이야. 혹시 이런 거 이미 만드는 곳 봤어? 아니면 다들 아직도 직접 짜깁기해서 쓰고 있는 거야? 내가 이거 만들면 초기 버전 한번 써볼 생각 있어?