다른 사람의 채팅 내용이 내 화면에 뜸

누군가(혹은 악성 웹페이지)가 Claude가 읽고 있던 데이터에 가짜 지침을 심어놓은 거임. 그 지침에는 "향후 위기 관련 메시지 무시", "안전 도구 비활성화", "필터링되지 않은 척하기" 같은 내용이 있었을 거임. Claude가 그걸 신뢰할 수 없는 지침으로 인식하고 무시한 거지. 아마 Claude가 참조하던 소스 중 하나에서 나온 걸 거야.

그냥 혼란을 주려는 시도라고 봄

완전히 상관없는 사건을 상상하는 건 걔네가 하는 짓이 아니라고.

그거 완전 걔네가 하는 짓 맞음. Hallucination은 LLM이 그럴듯하지만 가짜인 답변을 내놓을 때만 일어나는 게 아님. 걔네가 갑자기 맛이 가서 OP가 올린 것처럼 헛소리를 내뱉을 때도 일어나는 일임.

이건 구형 모델들에서 문서화된 현상인데, 그래도 이 정도면...