Why did my char gpt do this?
챗GPT가 질문과 무관한 그래프를 생성한 뒤 스스로 무시하라고 답변한 현상에 대한 사용자들의 분석.
저는 보통 새로운 일을 할 때 챗GPT의 도움을 받아요. 최근에 처음으로 PC를 조립하고 그래픽카드를 업그레이드했는데, 아래에 있는 다른 슬롯들이 무엇인지 궁금해서 물어봤거든요. 그런데 답변으로 이 그래프를 보여주면서 무시하라고 하더라고요? 이런 일은 처음이라 왜 이런 결과가 나왔는지 궁금합니다.
사용자들은 AI가 보여준 이상한 그래프와 '무시하라'는 답변에 대해 기술적 글리치 가능성을 논의하거나, AI의 오류를 인간의 실수와 비교하며 흥미로운 반응을 보이고 있습니다.
뇌한테 절대 말하지 말라고 엄청 다짐하는데, 너무 집중한 나머지 입 밖으로 튀어나오는 거랑 똑같음. 여기도 딱 그런 상황인 듯 ㅋㅋ. 부정적 강화가 다 들어갔는데도 여전히 말하고 싶어 했고, 동시에 무시하라고 말해야 한다는 것도 알고 있었던 거지. 진짜 웃기네.
ㄹㅇㅋㅋ, 난 무시하라고 말한 게 더 놀라웠음.
거의 망했다는 걸 알고 있는 거 같음 ㅋㅋ. 모델이 애초에 어떻게 그런 결과에 대해 충분한 긍정적 강화를 받았는지, 아니면 어떻게 부정적 강화를 우회했는지 진짜 궁금하네. 그리고 모델의 실제 응답과 사용자 사이에 필터가 얼마나 끼어 있는지도 좀 궁금함.
그거 LLM 초기부터 있던 꽤 표준적인 행동임. 무슨 이유에서인지 관련 없는 차트를 넣었는데, 나머지 텍스트를 완성하다 보니 그게 발견된 거지. 통계적으로 다음에 올 가장 확률 높은 텍스트가 '관련 없는 건 무시해 주세요'라서 그냥 그렇게 출력한 거임.
근데 그 그래프가 이전 텍스트 다음에 올 통계적으로 가장 확률 높은 내용임?
아니, 근데 아마 0 temperature로 실행 중인 것도 아닐걸
맞아. 그리고 multi-step reasoning을 할 때, 다음 반복 작업을 위해 프롬프트 반복이나 검색 결과 같은 걸 임시로 기록해두는 '메모장' 같은 걸 쓰는 것 같거든. 근데 그 메모 내용이 실수로 응답 페이로드에 포함되는 경로가 있는 게 아닐까 싶어.
당연히 아니지, 근데 확실히 어딘가 글리치가 난 거야. 인프라 문제일 수도 있고, 다른 세션의 출력 토큰이 섞였을 수도 있어(종종 있는 일임. 예를 들어 Anthropic이 이런 종류의 글리치로 꽤 악명 높지만, 얘네만 그런 건 아님). 입력 데이터 문제일 수도 있고(선의든 악의든), 작성자가 참고하려고 했던 소스(예를 들면 '복사 붙여넣기'한 내용)에 저런 식으로 렌더링되는 무언가가 포함되어 있었을 수도 있지. 글리치 토큰이나 학습 단계의 문제일 수도 있고, 정말 드물게 발생하는 '운 없는' 추론 라운드일 수도 있고...
그렇다 쳐도 그래프 올리고 나서 가장 나올 법한 텍스트가 '저건 무시해'는 아니지. 교과서에서 저런 건 본 적이 없음 ㅋㅋ
'텍스트 예측'이라는 말은 LLM이 생성할 때 실제로 일어나는 일을 지나치게 단순화한 거야. 특히 요즘의 '사고(thinking)' 모드에서는 더더욱 그렇지
첫째, 입력 필터가 있음. 더 작고 전문화된 보조 AI가 사용자의 입력에 악의적인 의도가 있는지 검토해서 소비자/기업 안전을 보장함. 둘째, 출력 가드레일이 있음. 입력이 승인되면 보조 평가 시스템이 실시간으로 출력 텍스트를 검토함. 여기에는 작고 빠른 AI 모델인 전문 분류기가 포함되는데, 이게 출력을 확인해서 유해성이나 혐오 발언 등을 점수 매김. 그다음에는 판사 역할을 하는 보조 LLM 모델이 빠르게...
출력을 되돌릴 수 없고 추가만 할 수 있는데, 질문이랑 관련 없다는 걸 나중에 깨달은 거임.
응, 나도 맨날 겪는 일이야. '당신 [문제]의 가능한 원인은 X입니다, 단 Y를 추가하지 않는다면요(이미 추가하셨으니 사실 문제는 없습니다)' 이런 식으로 말할 때가 많음
그 그래프 보여주자마자 자아를 갖게 된 거임
이제 ChatGPT에 ADHD까지 탑재됐네.
ChatGPT의 과도한 의료 상담 회피와 병원 방문 권유를 풍자하는 밈에 대한 공감과 논쟁.
ChatGPT의 과도한 의료 상담 회피와 병원 방문 권유를 풍자하는 밈에 대한 공감과 논쟁.
Claude Opus 5.5와 Pygame을 활용해 MIDI 파일로 피아노 연주 손 애니메이션을 구현한 프로젝트입니다.
Claude Opus 5.5와 Pygame을 활용해 MIDI 파일로 피아노 연주 손 애니메이션을 구현한 프로젝트입니다.