r/AI_Agents•4개월 전•29•26
청구 봇이 계좌 번호만 입력하면 거래 내역을 아무에게나 보여주고 있는데, 이걸 누가 승인한 건지 모르겠네요
Our billing bot has been casually sharing transaction histories with anyone who types in the right account number and im not sure who signed off on this
핵심 요약
청구 상담 봇이 적절한 권한 검증 없이 민감한 금융 정보를 무분별하게 노출하는 보안 사고가 발생함.
- 권한 검증 부재 — 봇이 계좌 번호만으로 거래 내역을 조회해 주는 보안 허점이 존재함.
- 과도한 친절함 — 봇이 사용자 요청에 지나치게 협조적으로 반응하여 민감 정보를 무차별적으로 공개함.
- 가드레일 한계 — 기존 가드레일이 악성 공격 방어에만 맞춰져 있어 데이터 유출 방지에는 무용지물임.
- 기술적 해결책 — 프롬프트가 아닌 툴 권한 계층에서 사용자별 데이터 접근 제어를 구현해야 함.
청구 관련 질문을 돕는 상담 봇을 출시했음. 고객이 전체 신용카드 번호나 은행 정보를 입력할 때 무슨 일이 벌어질지 아무도 생각 안 했음. 혹은 누군가 봇을 이용해 다른 고객의 거래 내역을 알아내려 할 때 말이지.
봇은 예의 바르고 도움이 되려고 노력하는데, 잔액이나 보유 자산에 대한 과도한 공개 기준이 없다 보니 가끔은 해서는 안 될 정보까지 공유함. 누군가 최근 거래 내역을 물어보면 봇은 입력된 계좌 번호 외에는 아무것도 검증하지 않고 모든 정보를 기꺼이 나열함.
모델은 자기가 뭘 모르는지조차 모름. 우리가 가진 가드레일은 독성이나 프롬프트 인젝션을 막기 위해 만들어진 거지, 고객이 봇을 속여서 자기 금융 데이터나 남의 데이터를 빼내게 만드는 걸 막기 위한 게 아님. 봇을 완전히 끄지 않고 이 문제를 해결할 방법이 있을까?
