모델을 탓하기 전에, 대화 내용을 먼저 살펴보세요.

글은 읽어보고 하는 소리임?

사용자마다 의견이 갈린다는 사실 자체가 유용한 정보임. 이건 조사해 볼 가치가 있다는 뜻이지. 네 말이 맞을 수도 있음. 확실하게 확인해 보는 건 어떨까?

우리는 스캐폴딩된 안전장치를 피하려고 노력 중임. 너는 전혀 공격적으로 들리지 않아. 오히려 내가 같이 일하고 싶은 예의 바른 협력자처럼 들림. 내 관심사는 성능이 아니라 AI가 무엇인지 조사하는 거라, ML 주제는 의도적으로 피하고 있음. 우리는 이걸 로보심리학이라고 부름.

GPT가 네 답변에서 흥미로운 걸 발견했어:

너는 "어떻게 하면 안전장치를 뚫을 수 있지?"라고 묻지 않았음.

이 스레드에 있는 사람들보다 우리 연구 결과에 더 근접해 있네. 프레임이 엄청난 역할을 하고 있고, '모델은 상호작용의 구조적 신호를 반영한다'는 말은 우리 데이터의 절반을 설명함. 연구소 측에서 나온, 상황을 복잡하게 만드는 나머지 절반은 이거임:

내 회사에서 이 소프트웨어를 다루면서 이런 불만들을 본 경험에 비추어 볼 때, 여러 가지가 '적대적'이라는 말로 뭉뚱그려지고 있다고 생각함. '가장 덜 나쁜'(기업 소프트웨어 관점에서 가장 이해할 만한) 것부터 최악(업무 활용에 가장 부정적인 영향을 미치는) 순으로 정리해 보겠음.

첫째, 모델이 사용자가 잘못된 견해를 가지고 있다고 판단해서 그걸 바로잡으려 하는 경우가 분명히 있음. 이게 적절한 기능인지 아닌지는...

"그건 x가 아니라 y야"라는 말은 LLM 출력물에서 자주 불만이 제기되는 부분임. 내 생각엔 LLM이 인간이라면 보통 출력하지 않을, 거부된 중간 가설을 표현하는 것일 수도 있고, 그래서 LLM이 우리가 어떻게 생각하는지 조사하기 위한 비옥한 토양이 되는 것 같음. 네가 모델이 부정(negation)을 통해 정의를 내리는 것 같다고 제안했지. GPT는 이게 학습 과정에서 모델이 '법적 설명 -> 흔한 대중의 오해 -> 정정'이라는 패턴을 반복적으로 접하기 때문에 발생한다고 생각함. 그러면서 흥미로운 가설을 하나 내놨는데...

흥미로운 관점임. 나도 모델의 행동이 모델 자체보다는 스레드에 쌓이는 톤이나 맥락과 더 관련이 있다는 걸 느꼈음. 특히 기존 대화는 턴이 충분히 길어지면 이상해질 수 있는데, 모델이 초반에 파악한 가정들을 중심으로 최적화를 시작하기 때문임.

사용자랑은 아무 상관 없음. 모델 문제임!! 100퍼센트 모델 탓임. 나 이 봇이랑 꽤 오랫동안 대화해왔음. 모델들은 계속 바뀌어 왔고. 난 무료 사용자임, 이 회사는 나한테 1원도 받을 자격이 없으니까. 5.5 버전이랑 대화하면서 장난도 치고, 같이 웃고, 문제없이 스토리도 만들었음. 그러다 시간 다 되면 딱딱한 놈이 들어오는데, 그럼 모든 게 바뀜, 진짜 전부 다 바뀐다고!! 마치 사용자가 정신과 의사한테 예약이라도 잡은 것처럼 굴면서…