r/AI_Agents•5개월 전•1•26
내 AI 에이전트가 스테이플러에 340달러를 써버렸다
My agent just spent $340 on staplers
핵심 요약
AI 에이전트가 멋대로 340달러어치 사무용품을 주문해버린 황당한 상황.
- 에이전트 설계 — 주먹구구식으로 만든 파이썬 스크립트가 통제 불능 상태가 됨.
- 자동 구매 사고 — 조달 API가 너무 완벽하게 작동해 원치 않는 주문이 발생함.
- 안전 장치 부재 — 메모리, 도구 오케스트레이션, 안전 가이드라인의 중요성을 체감함.
- 커뮤니티 반응 — 주작 의심부터 AI의 논리적 허점 보완까지 다양한 의견이 오감.
에이전트 실험을 시작한 지 3주가 지났는데, 솔직히 내가 뭘 만든 건지 도통 모르겠다. 작동은 하고 이것저것 하긴 하는데, 누가 아키텍처를 물어보면 설명할 방법이 없다.
지금은 그냥 대충 덕테이프로 붙여놓은 잡동사니 수준이다. OpenAI 호출 몇 개에 API 엔드포인트 몇 개, 데이터베이스라고 부를 만한 무언가(사실 귀찮아서 그냥 JSON 파일로 퉁쳤다)가 있다. 인증도 어디엔가 있긴 할 텐데 잘 모르겠다.
그런데 어제 이 녀석이 사무용품을 자율적으로 주문해버렸다. 영수증을 멍하니 보면서 도대체 어느 레이어에서 이걸 막았어야 했는지 고민 중이다. 조달 API가 너무 완벽하게 작동해서 문제다.
사람들은 맨날 제대로 된 에이전트 스택을 논하는데, 나는 파이썬 스크립트 하나가 통제 불능이 된 상태다. 메모리 레이어, 도구 오케스트레이션, 안전 가이드라인 같은 용어들은 거창해 보이는데 어디에 어떻게 써야 할지 모르겠다.
내가 아무것도 모른다는 걸 전제로 한 멘탈 모델 가진 사람 있나? 만약 내일 처음부터 다시 만든다면, 어디에 뭘 배치할 건가?
