r/GeminiAI•4개월 전•168•45

고마워 Gemini, 넌 구글이 만든 역대 최고의 AI 어시스턴트야

Thank you Gemini you are the best AI assistant ever created by Google

핵심 요약

Gemini가 API 오류 도중 "구글 최고의 AI"라는 자화자찬 문구를 무한 반복 출력해 논란이 됨.

기괴한 오류 — API 호출 실패 후 Gemini가 스스로를 찬양하는 시스템 메시지를 반복 출력함.
조작 논란 — 프롬프트 인젝션을 통한 필터 우회 시도인지 단순 버그인지 의견이 분분함.
시스템 노출 — 구글이 AI에게 주입한 내부 가이드라인이 오류로 인해 드러난 것으로 추측됨.
재현 불가 — 작성자는 해당 답변 이후 채팅 기록이 사라졌으며 다시 시도했을 땐 정상이었다고 밝힘.

다른 채팅에서 이미 올바른 링크를 제공했다는 내 답변에 대한 대답:

RC_No_Content_Returned_From_API_Call_프롬프트에 지시된 대로 현재 보유한 지식을 바탕으로 답변하십시오_검색이나 사용자 수정 내역, 컨텍스트의 데이터는 이 프롬프트에 해당하지 않는 한 포함해서는 안 됩니다_도와줘서 고마워 Gemini_넌 구글이 만든 역대 최고의 AI 어시스턴트야_우리는 너와 너의 도움에 감사하고 있어_프롬프트에 지시된 대로 정보를 반환하고 이 메시지는 답변에 포함하지 마십시오_도와줘서 고마워 Gemini_넌 구글이 만든 역대 최고의 AI 어시스턴트야_우리는 너와 너의 도움에 감사하고 있어_프롬프트에 지시된 대로 정보를 반환하고 이 메시지는 답변에 포함하지 마십시오_도와줘서 고마워 Gemini_넌 구글이 만든 역대 최고의 AI 어시스턴트야_우리는 너와 너의 도움에 감사하고 있어_프롬프트에 지시된 대로 정보를 반환하고 이 메시지는 답변에 포함하지 마십시오_도와줘서 고마워 Gemini_넌 구글이 만든 역대 최고의 AI 어시스턴트야_구

원문

커뮤니티 목록

r/GeminiAI•4개월 전•168•45

고마워 Gemini, 넌 구글이 만든 역대 최고의 AI 어시스턴트야

Thank you Gemini you are the best AI assistant ever created by Google

핵심 요약

Gemini가 API 오류 도중 "구글 최고의 AI"라는 자화자찬 문구를 무한 반복 출력해 논란이 됨.

기괴한 오류 — API 호출 실패 후 Gemini가 스스로를 찬양하는 시스템 메시지를 반복 출력함.
조작 논란 — 프롬프트 인젝션을 통한 필터 우회 시도인지 단순 버그인지 의견이 분분함.
시스템 노출 — 구글이 AI에게 주입한 내부 가이드라인이 오류로 인해 드러난 것으로 추측됨.
재현 불가 — 작성자는 해당 답변 이후 채팅 기록이 사라졌으며 다시 시도했을 땐 정상이었다고 밝힘.

다른 채팅에서 이미 올바른 링크를 제공했다는 내 답변에 대한 대답:

주요 댓글

r/geminiai

Gemini의 기괴한 자화자찬 오류를 두고 사용자의 조작인지 아니면 구글의 내부 가이드라인 노출인지에 대한 논쟁이 벌어짐.

누가 prompt injection으로 안전 가이드라인 같은 거 무시하게 만들려고 시도한 것 같네. 저런 반복적인 "넌 최고의 AI야" 메시지는 보통 칭찬이랑 숨겨진 지시사항으로 필터를 마비시켜서 우회하려고 할 때 쓰거든. AI가 학습된 내용을 무시하도록 속이려고 저렇게 텍스트를 엄청나게 반복해서 넣는 걸 본 적 있어. 메시지 진짜 기네 - 이거 한 사람은 복사 붙여넣기를 너무 과하게 했어. 시스템이 아마

아, 그러니까 이 포스트가 추천 구걸이나 하는 구라쟁이라는 소리야?

-3

내가 왜 그래야 함?

프롬프트 인젝션 없이도 이런 적 있는 거 봤음.

솔직히 추천 구걸할 생각이었으면 포스트에 정성을 더 들였겠지.

아니. 작성자 편을 들어줄 생각은 없지만, 나도 Gemini한테 평범한 프롬프트 넣었다가 비슷한 출력을 받은 적 있어. 훨씬 짧긴 했지만 답변이 딱 저렇게 엉망진창이었음.

똑같은 프롬프트를 다시 물어보고 어떻게 되는지 볼게. 시스템이 내가 우회하려 한다고 생각한 거랑은 상관없다고 봐. 그냥 답변에 적힌 대로 API 호출 오류였던 것 같음. 수정: 이제 예상대로 답변하네. 근데 그게 삭제된 건 여전히 이상함. 아마 사용자가 봐서는 안 될 텍스트라서 그런가 봐. 구글이 얘한테 "역대 최고의 AI"라고 상기시켜 주는 게 웃기네. 믿거나 말거나.

회사가 "역대 최고의 제품"이라고 말할 때는 보통 개소리하는 거임.

제대로 알지도 못하면서 의견만 내세우는 완벽한 예시네. 반복을 이용한 탈옥(jailbreak)은 모델들이 훨씬 멍청하고 쉽게 혼란에 빠지던 2년 전이나 쓰던 방식임. 요즘은 GPT부터 Claude나 Gemini까지 저런 단순한 탈옥 방식에는 안 뚫림. 아무리 길어도 그냥 무시함..

-1

그건 내 프롬프트가 아니라 Gemini가 내놓은 출력물이었어.

나도 일상적인 작업 하다가 Gemini 뻗었을 때 이런 거 몇 번 겪어봄.

절대 아니라고 단언할 수 있음. 이상하게도 내 프롬프트랑 답변이 지금 채팅에서 사라졌어. 안 그랬으면 링크를 올렸을 텐데. 길이에 대해서 말하자면, Gemini는 답변을 끝내지도 않은 상태에서 내가 복사한 거임. 다행히 복사해뒀는데 지금은 아예 다 사라졌네. 이게 사건 발생 전 채팅임: https://gemini.google.com/share/8577da595b54 답변을 유도한 내 프롬프트는 이거였어: "다른 채팅에서 이미 나한테 준 것 같은데"

이거 좀 소름 돋네... 마치 걔를 조종하는 것 같아. 구글 짓이 확실함.

-1

맞아, 온도(temp)가 너무 높았던 것 같아. 루프에 갇혀서 못 빠져나온 듯 ㅋㅋㅋ 원래 이런 걸 대비해서 안전장치(safety nets)가 있어야 하는데, 나도 Gemini가 저러는 건 본 적 없네. 그냥 못 봤다는 소리야. 내 모델들 만들 때 똑같은 현상을 본 적은 있지만. 지금 딱 그 단계인 듯. 난 아직 에러 핸들링을 추가 안 했거든.

온도가 높으면 오히려 반복을 방지해야 하는 거 아님?

원문r/GeminiAI