AI 에이전트를 구축할 때 보안은 어떻게 관리하시나요?

기존 스택부터 시작하는 걸 추천함: 도구 또는 API 계층에서 권한을 강제하고, 자격 증명에는 비밀 관리자를 사용하고, 감사를 위해 도구 호출을 기록하는 것.

핵심은 에이전트가 어떤 도구를 볼 수 있는지 확인하는 것뿐만 아니라, 에이전트가 범위를 벗어난 데이터에 접근하거나 작업을 트리거할 수 있는지 테스트하는 것임. 어떤 프레임워크를 쓰고 있어? 그걸 알면 고려할 만한 구체적인 도구를 좁히는 데 도움이 될 텐데.

대부분의 팀은 결국 커스텀 검증 래퍼를 만들게 됨. 시중의 'AI 방화벽' 도구들은 아직 너무 미성숙하고 쉽게 우회당하거든. 도구 인자에 엄격한 Pydantic 스키마를 강제하고 API 게이트웨이 수준에서 인증 토큰을 처리하는 게 외부 미들웨어를 믿는 것보다 훨씬 안정적임.

무서운 건 에이전트가 속았을 때 무슨 일이 벌어질지 모른다는 거야. 엄격한 권한 설정과 도구 호출 기록은 최소한의 기본 조치여야 함. 배포 전에 이런 것들을 테스트할 믿을 만한 방법 찾은 사람 있어?

나도 그걸 알아내려고 노력 중임. 정상적인 행동을 테스트하는 건 별개의 문제지만, 에이전트가 잘못될 수 있는 모든 방식을 현실적으로 어떻게 시뮬레이션하지? 혹시 자동화된 테스트를 사용하는 사람이 있는지 궁금함.

난 그냥 단순하게 에이전트가 실제로 건드릴 수 있는 범위를 엄청나게 제한해 둠. 데이터베이스에 쓸 필요가 없으면 읽기 전용 자격 증명만 줌. 예전에 프롬프트가 모호하게 작성됐다는 이유로 에이전트가 스테이징 테이블을 삭제해 버려서 크게 데인 적이 있거든.

내부 가드레일이 뻔한 건 잡아내지만, 모든 도구 호출을 상식 없는 스크립트가 보내는 것처럼 취급하는 것만큼 좋은 건 없음.

모호한 프롬프트 하나 때문에 테이블 전체를 삭제하다니 진짜 대단하네. 기본적으로 읽기 전용 권한을 주는 건 일리가 있어. 쓰기 작업도 승인을 요구해, 아니면 그냥 권한 설정에만 의존해?

대부분 직접 구축했음. 내가 가장 신뢰하는 규칙은 요청 내용이 아니라 '누가' 요청했는지를 확인하는 것임. 우리 에이전트들은 회사 은행 계좌에 API로 접근할 수 있지만, 돈은 내가 직접 내 Slack 계정이나 내가 접속 중인 세션에서 수취인, 금액, 통화를 지정할 때만 움직임. 이메일이나 문서, 혹은 다른 에이전트가 '댄이 이걸 결제하길 원해'라고 말해도 아무리 그럴듯해 보여도 거부함. 그래서 인젝션된 텍스트는 마음껏 요청해도 됨. 내 Claude 계정 세션에서 온 요청조차도 내 계정에서 에이전트들이 돌아가기 때문에 인정 안 함. 단점은 모든 결제마다 내가 병목 구간이 된다는 거지만, 그 정도는 괜찮음.

짧은 답변: 모델이 조작될 수 있다고 가정해라. 긴 답변: 모든 도구 호출을 샌드박스에 가둠. 추론 에이전트는 실행 계층과 분리되어 있고, 요청은 실행 전에 범위, 매개변수, 대상을 확인하는 검증기를 거침.

대부분 엄격한 권한을 쓰는데, 도구 단위가 아니라 작업 단위로 범위를 지정함. 한 자격 증명에 읽기/쓰기를 다 넣으면 문제가 생김. 내 트레이딩 에이전트들은 포지션을 종료하거나 취소할 수 있는 키를 가지고 있지만, 새로운 포지션을 열 수는 없음. 새 포지션을 열려면 내가 직접 발행한 키가 필요함. 그런 분리가 내가 Quantradin(quantradin.com, 가짜 돈, 무료)을 만든 큰 이유임. 너희 에이전트들은 뭘 건드리고 있어?