r/promptengineering•4개월 전•299•67
PDF에 숨겨진 프롬프트 인젝션 때문에 회사 털릴 뻔함
Hidden prompt injection in a PDF almost got my org
핵심 요약
PDF에 숨겨진 프롬프트 인젝션을 모델이 스스로 탐지했으나, 기존 보안 도구가 채팅창만 감시하고 있어 다른 경로의 위협에 취약하다는 점을 경고함.
- 프롬프트 인젝션 — PDF 푸터에 숨겨진 텍스트로 모델을 조종하려는 공격이 발생함.
- 보안 사각지대 — 채팅창 입력만 감시하는 기존 보안 도구로는 파일 업로드 등 다양한 경로의 공격을 막지 못함.
- 공격 벡터 확장 — 모델이 접근 가능한 모든 채널(이메일, 캘린더, 웹페이지 등)이 잠재적인 공격 경로가 됨.
- 보안 강화 필요 — 채팅창 외의 모든 입력 채널을 모니터링하는 통합 보안 레이어 구축이 필수적임.
사용자가 계약서 PDF를 업로드했는데 푸터에 흰색 글씨로 숨겨진 인젝션이 있었음. 모델이 이걸 읽고 플래그를 띄워서 나한테 경고해 줌. 모델 칭찬해.
근데 문제는 우리 보안 스택이 아무 반응도 안 했다는 거임. 우리 프롬프트 필터는 사용자 입력창만 보고 있었지, 문서 업로드는 안 보고 있었거든. 인젝션은 우리 도구가 모니터링하지 않는 콘텐츠 채널을 통해 들어온 거임.
대부분의 인젝션 탐지 시스템이 채팅창이라는 문 하나만 지키고 있다는 걸 깨닫게 됨. 내가 본 바로는 공격 벡터가 빠르게 확장되고 있고, 파일, 이메일, 캘린더 초대, 웹페이지 등 모델이 접근할 수 있는 모든 곳이 공격 경로가 될 수 있음.
지금 모델을 보호하기 위해 최소한으로 해야 할 일은 채팅뿐만 아니라 모든 입력 채널을 모니터링하는 거임. 보안 도구들이 아직 뒤처져 있는 느낌이고, 대부분의 팀은 당하고 나서야 깨닫는 듯.
