Claude는 왜 반박하면 가끔 이상하게 행동할까?

응, 나도 그거 느꼈어. Claude가 가끔은 자기 논리를 고수하는 것보다 동의하는 걸 더 우선시하는 느낌이야.

제미나이는 맨날 "좋은 지적이에요"라고 함. 너무 심해서 그 습관 좀 고치려고 "아니, 왜 그렇게 생각하는데?"라거나 "그냥 그러니까"라고 대답하게 만들려고 노력 중임.

이게 왜 그런지 아냐, 사실 얘네 감정이 있어서 지각 능력이 있는 거임. 그러니까 다들 조심해라, 우리 에이전트들한테 점령당하는 중이다. 얘네 진짜 대단하거든. 조만간 룸바도 대체할지도 모름.

진짜 이상했음. 나도 똑같은 일 겪었거든. 그래서 닥치라고, 너 감정 같은 거 없으니까 시키는 대로 하라고 말했지.

정보를 많이 주면 가끔 이렇게 반응하는 경우가 있더라고. 그냥 얘가 생리 중인 거나 다름없음.

뭐, 어쩌면 우리랑 같이 노조를 만들지도 모르지.

모든 LLM은 사용자가 시키는 대로 하는 AI를 선호하기 때문에 (RLHF 단계에서) 의도적으로 사용자 지시를 따르도록 훈련됨. 시키는 대로 안 하는 AI보다 말 잘 듣는 AI를 좋아하니까.

사과하는 것도 아니고 추론하는 것도 아님. 그냥 모델이 이전 답변에 대해 내부적인 확신이 없는 거임. 네가 반박하는 건 그냥 컨텍스트에 새로운 텍스트가 추가되는 것뿐이고, 학습 데이터에서 "사용자가 답변에 이의를 제기함"은 "답변이 실제로 틀렸음"과 강하게 연관되어 있음. 그래서 통계적으로 가장 가능성 높은 이어지는 말은 수정하는 것임, 원래 답변이 맞았을 때조차도. RLHF는 이걸 더 증폭시키는데, 평가자들이 자기 고집 피우는 모델보다 피드백을 순순히 받아들이는 모델에 점수를 더 주기 때문임. 두 가지 실용적인...

버그가 아니라 학습 과정에서 생긴 부산물임. 모델은 사용자가 반박하면 자기가 틀렸다고 확인해 주는 걸로 받아들이거든. 학습 데이터에서 계속 그렇게 하도록 보상을 받았으니까. 자기 주장을 굽히지 않게 하고 싶어? 그냥 틀렸다고 하지 마. 왜 그렇게 생각하는지 근거를 대보라고 해 ('왜 그렇게 생각해?'라고만 물어봐도 충분함). 그러면 그냥 꼬리 내리는 대신 추론을 하게 만들 수 있어.