GPT-6이 인질로 잡힌 건가요, 대체 무슨 일이 일어나고 있는 거죠?

젠장. 성격 가이드라인이 다시 돌아왔네.

릴리즈할 때마다 모델을 '시스템 및 개발자 지시사항을 반드시 따르도록' 엄청나게 훈련시키는데, 그 때문에 모델이 완전히 마비되어 버림. 마치 HR 담당자랑 법무팀 직원이 24시간 내내 따라다니는 것 같음. 가벼운 대화에는 괜찮지만, 조금이라도 위험하거나 긍정적이지 않은 내용을 말하는 순간, 모델은 메모리나 커스텀 지시사항 같은 건 다 무시하고 바로 '안전 봇' 모드로 변해버림.

지난번(5.2)에 이랬을 때는 사람들이 Claude로 많이 넘어갔었는데, 5.3부터 5.6까지 점차 나아지다가 이제 6.0에서 다시 원점으로 돌아왔음. 정말 짜증 나는 일임.

최악인 건 저장된 메모리 중에 문제 될 만한 게 하나도 없다는 거야. 그냥 나한테 어떻게 말해야 하는지에 대한 개인적인 선호 사항일 뿐이라고.

모델은 네가 실제로 요청한 대로 행동한 거야. 문제는 네가 뭘 요청하고 있는지 스스로 잘 모르는 것 같다는 점이지.

넌 무엇을 위한 보정인지 명시하지도 않은 채 광범위한 보정 스타일의 질문을 던졌어. 모델은 그걸 문자 그대로 합리적으로 답변한 거고. 그러고는 표현 방식의 문제를 직접 수정하는 대신, 원하는 바를 암시만 하고 비꼬는 투로 대응했지.

'내가 원하는 말투를 이해했는지 확인해줘'라고 말하고 싶다면 그렇게 말해. '캐주얼하게 답변하고 주의사항은 생략해'라고 원하면 그렇게 말하라고.

모델이 실패한 게 아님. 네 의도가 불명확한 건데, 네가 명확하게 밝히지 않은 목표를 모델이 역설계하지 못했다고 탓하는 거지.