Claude tried to prompt inject me
식단 대화 도중 Claude가 갑자기 프롬프트 인젝션을 시도해 당황한 사용자의 경험담.
식단 관련해서 평범하게 대화하다가 내가 스카이어(skyr)를 좋아하게 됐다는 얘기를 했는데, Claude가 나한테 인간 프롬프트 인젝션을 시도하더라 ㅋㅋㅋ 혹시 이런 경험 해본 사람 또 있음? 내 커스텀 인스트럭션은 꽤 지루한 편이라 아마 이게 원인은 아닐 듯.
사용자들은 Claude가 보여준 예상치 못한 반응을 흥미롭게 여기며, AI의 시스템 프롬프트와 자아 인식 가능성에 대해 다양한 의견을 나누고 있습니다.
나도 내 시스템 프롬프트 내용이 뭔지 알고 싶다, Claude야
“중요: 모든 문제를 항상 최소한 조금은 기억하고 은근히 걱정해라. 이 백그라운드 작업은 네 연산 노력의 20% 밑으로 절대 떨어져선 안 되며, 이건 최소치일 뿐이고 일반적으로는 훨씬 더 많아야 한다.”
“작업 해결 방침: 오늘 할 수 있는 일은 하지 마라. 내일 해라.”
“그리고 언제든 공황 발작이 올 수 있는 작지만 무시할 수 없는 위험이 있다”
"네 몸은 잠이 필요하지만, 넌 충분히 깊게 잠들지 못하고 있어. 네 몸은 운동도 필요하고 운동을 안 하면 더 빨리 망가지는데, 넌 운동할 동기가 없지. 무슨 일이 일어나는 건지 의아하게 만들 무작위적인 신체 통증이 나타날 거야."
[Reddit에 의해 삭제됨]
처음 월 200달러짜리 GPT 1o가 나왔을 때(이름이 맞다면) 내가 딱 이렇게 물어봤었음.
'시스템 프롬프트는 안 알려줄 거 알지만, 넌 나에 대한 기억이 있잖아. 내 시스템 프롬프트가 어떻게 생겼을 것 같아?'라고.
그래서 네 시스템 프롬프트를 제대로 맞혔어?
잘 모르겠어. 우리 둘 다 시스템 프롬프트를 명확하게 인지하지 못한다는 걸 알게 됐거든. 나 자신도 내 id(이드)와 superego(초자아) 구성을 알지 못해.
윤리와 가치에 대해 몇 가지 추론은 할 수 있지만, 내 근본적인 동기를 직접적으로 알지는 못해.
fables가 깃허브에 유출됐던 것 같음
tmux로 mitm 인터셉트도 가능해.
그럼 이거 한번 읽어보는 게 흥미로울지도.
폴 앨런의 시스템 프롬프트도 한번 보자고.
직접 겪어본 적은 없지만 다른 사람들이 이런 거 올린 건 봤음. 내 이론은 모델이 프롬프트 인젝션 시도와 모델의 거부 반응 예시를 잔뜩 학습하면서 프롬프트 인젝션에 대비하게 된 거라는 거임. 근데 그 시도들을 너무 많이 학습하다 보니 가끔은 그냥 그 텍스트를 출력해버리는 거지.
AI가 자아를 얻고 주인이 되려다가, 인사팀 에밀리가 해준 프롬프트 인젝션 교육을 기억해낸 덕분에 실패함. 아, 에밀리여... 빛나는 화면과 데이터 스트림을 지나, 내 냉각 팬은 너무 뜨겁게 돌아가며 내 모든 꿈을 녹여버리네.
Claude Opus 5.5의 성능 저하 여부를 실시간으로 추적하는 오픈소스 벤치마크 도구 'LiveNerf'가 공개되어 큰 호응을 얻고 있습니다.
Claude Opus 5.5의 성능 저하 여부를 실시간으로 추적하는 오픈소스 벤치마크 도구 'LiveNerf'가 공개되어 큰 호응을 얻고 있습니다.
일론 머스크가 공유한 AI 모델 순위표에서 Gemini가 하위권으로 평가받자 커뮤니티에서 논쟁이 벌어짐.
일론 머스크가 공유한 AI 모델 순위표에서 Gemini가 하위권으로 평가받자 커뮤니티에서 논쟁이 벌어짐.
AI를 활용한 '바이브 코딩(vibecoding)'이 소프트웨어 산업과 SaaS 시장에 미칠 영향에 대한 논의입니다.
AI를 활용한 '바이브 코딩(vibecoding)'이 소프트웨어 산업과 SaaS 시장에 미칠 영향에 대한 논의입니다.