다들 프로덕션 환경에서 에이전트가 직접 작업하게 하는 거 무섭지 않음?
Anyone else terrified of letting agents actually do things in production?
핵심 요약
프로덕션 환경에서 AI 에이전트의 자율적인 작업 수행으로 인한 안전성 문제와 실질적인 해결 방안에 대한 고민.
- 안전성 우려 — 에이전트가 루프에 빠지거나 실수로 DB 데이터를 삭제하는 등 프로덕션 환경에서의 위험성.
- 하네스 구축 — 결정론적인 속도 제한(rate-limiting)과 삭제 작업 시 검증 절차를 통한 안전 장치 마련.
- UI 상호작용 — 스크린샷 대신 접근성 API를 사용하여 OS 수준의 확인 대화상자 및 실행 취소 기능 활용.
- 회로 차단기 — 연속적인 오류 발생 시 에이전트의 API 호출을 강제로 중단하고 멱등성 키를 통해 중복 실행 방지.
우리 에이전트들이 도구를 사용하고 내부 API를 호출하는 건 안정적으로 되는데, 안전성 문제 때문에 골치가 아픔. 에이전트가 루프에 빠져서 5분 만에 유료 API를 5,000번이나 호출한다거나, 사용자 요청을 잘못 읽어서 프로덕션 DB 항목을 삭제해버리는 상황 말이야. 다들 이거 어떻게 해결하고 있음?


