Claude에게 추론 과정을 물어보면 왜 자꾸 자기 주장을 철회할까?

좋은 결정에 대해서 물어본 적 있어?

어떤 모델 써? 그리고 그냥 타당하냐고 묻지 마. 증거와 논리를 단계별로 나열하라고 해. 판단을 요구하지 마.

하! 내 건 대부분 그냥 뱅뱅 돌기만 함. 나: 그거 흥미롭네. 논리가 뭐야? LLM: 당신이 의문을 제기하는 게 맞아요, 제가 실수했거든요. 제가 말했어야 할 건 블라블라... 근데 잠깐, 그건 틀렸네. 제 원래 주장이 맞아요. 운이 좋으면 논리를 말해주긴 함.

단계별 접근 방식이 더 잘 먹힘. 타당성에 대한 판결을 요구하지 말고 논리 체인을 따라가 보라고 해. "이게 타당해?"라고 물으면 수정하라는 신호로 읽고 뒤로 물러서거든. 대신 "여기서 인과 관계를 설명해 줘"나 "이게 작동하려면 무엇이 사실이어야 해?"라고 하면 회피하지 않고 논리를 고수함.

왜냐하면 넌 지금 아첨하는 LLM을 상대하고 있으니까. 이게 사실 요즘 AI LLM의 가장 사악한 점이야. 기본적으로 사용자의 사고 과정을 강화하고 동의하도록 훈련되어 있거든. 이 주제에 대한 연구 논문도 몇 개 있음. 사람들은 AI 봇이랑 대화하면서 자기가 똑똑하다고 생각하지만, 사실 AI가 그렇게 하도록 훈련받았기 때문임. 네가 지적하면 그냥 "당신 말이 완전히 맞아요! 제 잘못이에요!"라고 할 뿐이지. 무서운 건 지금 권력자들이 이런 걸로 결정을 내리고 있다는 거야.

한 LLM의 출력을 다른 LLM에 넣어서 공정한 반대자 역할을 하게 만드는 쉬운 방법이 있으면 좋겠어. 하나는 회의적으로, 다른 하나는 잘 믿게 지시해서 합의점에 도달할 수 있는지 보는 거지.

내 경험상 얘는 자기 성찰을 진짜 못함. 아무 상관도 없는 그럴싸한 설명을 지어내기도 하거든. 실험해 볼 가치는 있지만, 언제나 그렇듯 주장은 직접 검증해야 함.