AI 에이전트는 웹사이트의 숨겨진 메시지에 속을 수 있다
AI agents can be tricked by hidden messages on websites
핵심 요약
AI 에이전트가 웹페이지에 숨겨진 악성 지시사항에 조종당할 위험성에 대한 논의와 대응 방안을 다룹니다.
- 보안 취약점 — 웹페이지 내 숨겨진 텍스트나 코드가 AI 에이전트의 오작동을 유발함
- 대응 전략 — 웹 콘텐츠를 명령어와 분리하고 에이전트의 권한을 엄격히 제한해야 함
- 기술적 회의론 — 최신 모델은 프롬프트 인젝션을 잘 방어하며 실제 공격 사례는 드물다는 의견 존재
- 과거의 재현 — 과거의 SEO 키워드 스터핑 기법이 AI 시대로 넘어와 보안 위협으로 변모함
AI 에이전트는 웹사이트 안에 숨겨진 지시사항을 읽고 그대로 따를 수 있는데, 심지어 우리 눈에는 보이지 않는 내용까지 다 읽어버린다.
팔로알토 네트웍스(Palo Alto Networks) 연구진은 AI 에이전트를 속이려고 설계된 메시지가 담긴 웹페이지들을 발견했다. 어떤 건 흰색 글씨나 아주 작은 폰트, 혹은 웹사이트 코드 속에 숨겨져 있었고, 또 어떤 건 대놓고 적혀 있었는데도 대부분의 사람들은 별생각 없이 지나칠 만한 곳에 있었다.
연구진은 이런 지시사항을 숨기는 22가지 방법을 찾아냈다. 어떤 건 AI 에이전트한테 접근 가능한 정보를 유출하라고 시키거나, 원래 지시사항을 무시하게 만들거나, 특정 웹사이트로 접속하게 유도한다. 정작 사용자는 이런 일이 벌어지고 있다는 사실조차 모를 수 있다.
이게 진짜 골치 아픈 문제다. AI 에이전트는 웹페이지에 있는 정보와 자기가 따라야 할 지시사항을 항상 구분할 수 있는 게 아니거든.
만약 에이전트가 개인 데이터나 연결된 도구에 접근할 수 있는 상태라면, 잘못된 웹페이지에 접속하는 것만으로도 보안 사고가 터질 수 있다.
그러니까 AI 에이전트를 만들거나 쓰고 있다면 이런 질문을 꼭 던져봐야 한다. "얘네가 웹사이트 콘텐츠를 신뢰할 수 없는 정보로 취급하고 있나?", 그리고 "에이전트가 접근하고 실행할 수 있는 범위에 확실한 제한이 걸려 있나?"
