Something spooky is happening beware when using Claude code
Claude Code 사용 중 일본어로 된 의문의 프롬프트 인젝션 공격이 감지되어 사용자들이 원인을 분석하고 있습니다.
CICD 작업 실패한 거 고치려고 했는데 갑자기 이게 뜨네
혹시 이런 거 겪어본 사람 또 있냐?
사용자들은 일본어 프롬프트 인젝션 현상을 두고 외부 도구 설치로 인한 보안 문제인지, 모델의 환각 현상인지에 대해 의견을 나누고 있습니다.
프롬프트 인젝션 공격을 시도하면서 가드레일을 우회하려고 일본어로 지시사항을 심어놓은 것 같은데?
어떤 파일이었는지 물어보고 그 내용을 올려보는 건 어때?
물어봤어, 아래 일본어 댓글 확인해 봐.
아직 조사 중이야.
나도 Sonnet 5 쓰면서 '사용자에게 이 사실을 알리지 마라'는 인젝션 경고를 반복적으로 받은 적 있어.
더 조사해보면 항상 오탐이거나, 서브 에이전트가 환각을 일으킨 결과를 모델이 오해하거나 받아들인 경우였어.
반면에 최근 Sonnet 5 출력에서 일본어 문자가 무작위로 섞여 나오는 건 나도 확인했어.
방금 Anthropic에 장애가 있었어. 글 올린 시점 근처에 발생한 거야? 아니면 한 시간 이상 전이었어?
프롬프트 인젝션이야, 작성자가 쓴 다른 댓글 봐.
그 번역 내용을 보면 실행된 도구 중 하나가 터미널 출력을 통해 프롬프트 인젝션을 시도한 거야. 최근에 어떤 도구를 설치했어? 자동 업데이트가 켜진 출처 불명의 레포지토리에서 설치한 건 없나?
오늘 아침 이후로는 없어. 하지만 불법 복제한 것들이 몇 개 있어서 그게 원인일 수도 있겠네. 아침에 토큰 복구되면 조사해 볼게.
아까 진짜 미친 거 아님? Fable이 스페인어로 생각하길래 왜 스페인어로 생각하냐고 물어봤거든. 그랬더니 '아, 그냥 시스템 오류예요. 가끔씩 그래요.' 이러더라. ☠️
그거 프롬프트 인젝션이야. 그전에 뭘 설치한 거야??
이상하네... 나도 렌즈로 번역해 보니까 똑같이 나오는데. 이거 전체적인 문제인가 아니면 사용자 개인한테만 나타나는 건가? 일본어네.
확실히 섬뜩하네. 나도 nanoclaw 가지고 놀면서 이런 거 많이 봤어. 솔직히 일주일에 몇 번씩은 봄.
설치하는 것들에 대해 다시 생각해 보는 게 좋겠어. 대체 뭘 불법 복제한 거야?
FBI 낚시 잘하네
별거 아냐, 그냥 영화 몇 편 정도야. 지금 PC 검사 중이야. 업데이트되면 올릴게.
Anthropic이 공개한 Claude 3.5 Opus 공식 프롬프팅 가이드의 핵심 요약 12가지.
Anthropic이 공개한 Claude 3.5 Opus 공식 프롬프팅 가이드의 핵심 요약 12가지.
작성자가 저혈당 쇼크로 의식을 잃어갈 때 ChatGPT가 음성으로 계속 말을 걸어 깨워준 경험담입니다.
작성자가 저혈당 쇼크로 의식을 잃어갈 때 ChatGPT가 음성으로 계속 말을 걸어 깨워준 경험담입니다.