다들 조심하세요 - 프롬프트 인젝션
Be Careful Folks - Prompt Injection
핵심 요약
ChatGPT의 웹 검색 기능을 악용한 프롬프트 인젝션 공격으로 사용자가 악성 사이트로 유도될 뻔한 사례가 공유되었습니다.
- 프롬프트 인젝션 — 웹 검색 결과에 숨겨진 악성 명령어가 사용자에게 가짜 보안 인증을 요구함
- 공격 방식 — 윈도우 실행창을 열고 클립보드에 복사된 파워쉘 명령어를 붙여넣게 유도함
- 보안 취약점 — LLM이 검색한 외부 사이트의 지시를 그대로 따르면서 발생하는 심각한 보안 문제
- 대응 방안 — 의심스러운 캡차나 명령어 실행 요구 시 즉시 중단하고 메모리 초기화 필요
어젯밤에 ChatGPT가 내 질문에 답하려고 검색한 어떤 웹사이트 때문에 프롬프트 인젝션을 당했다. 브라우저 하이재킹이나 악성 확장 프로그램 같은 건 아니었음. 근데 그 답변이 내 모든 기기에 그대로 남아있더라.
그 악성 링크에는 "cloudflare" 팝업이 떴는데, 사람인지 확인하려면 다음 3가지를 하라고 시키더라.
Win+R (윈도우 실행 창 열기)
Ctrl+V (클립보드에 파워쉘 명령어가 붙여넣어짐)
Enter
난 시키는 대로 안 했지만, 거기까지는 진짜 존나 그럴싸해서 웬만한 사람들은 다 낚였을 것 같음.
수정: u/rappajake 님이 달아준 댓글 보고 알았는데, 이거 악성코드 퍼뜨리는 걸로 유명한 커뮤니티 커스텀 모델인 듯. 난 항상 브라우저 주소창에 chatgpt.com을 직접 치는데, 아마 오타가 나서 유효하지 않은 URL이 됐고, 구글 검색 결과 맨 위에 뜬 걸 잘못 클릭한 모양이다.


