r/AI_Agents•3개월 전•6•17
AI 에이전트가 승인되지 않은 실제 작업을 수행했습니다. 이를 해결하기 위해 제가 만들고 있는 것들입니다.
AI agents took a real-world action I didn't approve. Here's what I'm building to fix it.
핵심 요약
AI 에이전트의 오작동을 방지하기 위한 안전장치 구축과 실무적인 가이드라인에 대한 논의입니다.
- 안전장치 구축 — LLM 외부에서 제어하는 가드레일의 중요성 강조
- 데이터 정합성 — CRM 데이터의 최신 상태 확인 및 검증 절차 필요
- Human-in-the-loop — 에이전트가 직접 실행하지 않고 제안하도록 설계
- 작업 승인 프로세스 — 변경 사항 확인 및 승인 기록 남기기
우리는 업체 연락을 처리하는 AI 에이전트를 구축해 왔습니다. 잘 작동하다가도 갑자기 문제가 생기더군요. 지난달에는 CRM 데이터가 낡은 탓에 엉뚱한 담당자에게 계약 수정안을 보낼 뻔했습니다. 전송되기 직전에 간신히 막았죠.
이 일을 겪으면서 우리가 에이전트가 알아서 잘할 거라고 얼마나 막연하게 믿고 있었는지 깨달았습니다. 승인 단계도 없고, 감사 추적도 없고, 그저 분위기와 희망만 있었던 거죠.
이 문제에 대해 많이 고민해 봤습니다. 다들 에이전트가 실제 작업을 수행하기 전에 안전장치를 추가하기 위해 실제로 무엇을 하고 계신가요? 직접 구현하고 계신지, 아니면 이를 잘 처리해 주는 툴이 있는지 궁금합니다.
