LLM이 정말로 "UNTRUSTED_USER_INPUT"을 이해할까?

프롬프트 입력과 LLM 블랙박스 과정은 변한 적이 없음. LLM 입력은 그냥 시스템 지시사항, 사용자 프롬프트, 그리고 호출 컨텍스트를 합치는 것뿐임. 사용자 입력을 태깅하는 건 단순히 주석을 다는 수준임.

LLM이 처리하는 컨텍스트 내에는 신뢰할 만한 격리라는 게 없음. 입출력을 비교하거나, 알려진 패턴을 찾아서 바꾸거나, 아니면 취약한 모델이 처리하기 전에 다른 LLM 호출을 써서 사용자 입력을 정제하는 방식에 의존할 수밖에 없음. 에이전트 패턴에서 이런 방식이 자주 구현됨 (예: 플래너…

LLM은 아무것도 이해 못 함. 심지어 '이제 이해했어'라고 말해도 마찬가지임.

진짜 맞는 말인데, 뭐 어쩌겠어. 모델이 이해한다고 치고 세계 경제나 박살 내러 가자고. 참 재밌겠네!

프롬프트의 나머지가 신뢰할 수 없는 사용자 입력이라고 AI한테 말해봤자 소용없어. AI는 위치 데이터를 제대로 이해하지 못하거든. 시간적 위치를 파악하는 것도 엄청 힘들어하고. 겉보기엔 꽤 잘하는 것 같아도, 깊게 들어가면 '이해'를 못 해.

모델이 그걸 깊은 의미에서 '이해'하는 건 아님. 그냥 비슷한 관례가 등장했던 학습 데이터를 기반으로 패턴 매칭을 하는 거지. 만약 보안 관련 문맥에서 저 태그를 사용하는 사람들이 많아서 그게 사전 학습에 포함되었다면 모델이 다르게 반응할 수도 있겠지만, 그걸 믿을 수는 없어.

진짜로 분리하고 싶다면 시스템 프롬프트에 해당 태그가 무슨 뜻인지 명확하게 정의해야 해. 모델이 작업을 시작하기 전에 읽는 문서처럼 취급해야 한다는 거지.