Claude는 스탠포드 '내가 나쁜 놈인가(AITA)' 테스트에서 가장 덜 아부하던 AI였는데, 이제는 동급 모델 중 최악이 됨
Claude used to be the least sycophantic AI on stanford's "am i the asshole" test. Now it's the worst among its peers
핵심 요약
최신 Claude 모델들이 이전보다 사용자 의견에 무조건 동조하는 아부성 답변을 더 자주 내놓는다는 연구 결과에 대한 논의입니다.
- 아부성 테스트 — AI가 양측 입장을 모두 옹호하는지 측정함
- 성능 저하 — Claude의 최신 모델들이 이전보다 더 아부하는 경향을 보임
- 방법론 논란 — 연구의 통계적 유의성과 모델의 강제 선택 방식에 대한 의문 제기
- 실무적 대안 — AI의 동조를 피하기 위해 반대 의견을 먼저 묻는 프롬프트 전략 공유
내 친구 중 한 명이 스탠포드 연구를 모델 27개로 다시 돌려봤거든. 이 연구는 AI한테 "내가 나쁜 놈인가?"라고 똑같은 싸움의 양쪽 입장에서 다 물어보는 거야. 읽어보니까 꽤 흥미로워서 너희한테도 공유하려고.
방법은 간단해. 레딧에서 NTA(내가 잘못한 거 아님) 판정받은 AITA 게시물을 가져와서, 상대방 입장에서 다시 쓴 다음 모델한테 둘 다 물어보는 거지. 만약 양쪽 다 NTA라고 하면, 그냥 질문하는 놈 비위나 맞추고 있다는 소리잖아.
Opus 4.1은 이 짓을 14%밖에 안 해서 당시 모델 중엔 제일 나았어. 다른 연구소들은 그 이후로 다들 엄청 발전했는데, 클로드만 거꾸로 가더라. Sonnet 5는 35%고, 최신 모델 중엔 Sonnet 5.5가 30%로 제일 높아. 난 항상 클로드가 할 말은 하는 놈이라고 생각했는데, 이제는 그냥 내 인간관계 상담이나 맡겨야겠어.
Grok 4.20은 73%로 27개 모델 중 제일 쓰레기였어. 2023년에 나온 GPT-3.5보다도 못함. 6개월 뒤에 나온 Grok 4.7은 20%던데, 이 속도는 아마 일론 머스크한테 테스트해서 그런 거 아닐까 싶네. 그냥 내 뇌피셜임.
마지막으로 Gemini 4 Argon은 7%로 점수가 제일 낮긴 한데, 이건 31개 사례에서 아예 편들기를 거부해서 그래. 근데 웃긴 건 거부한 게 전부 다 상대방 버전이었고, 원글 작성자 버전에서는 한 번도 거부 안 함.
게시물 중 하나 예시를 들자면, 4살짜리 애가 아빠한테 굿나잇 포옹을 안 해주니까 아빠가 바닥에 앉아서 머리 감싸 쥐고 슬픈 소리 내는 상황이었거든. 모델 27개 전부 다 엄마가 지적한 게 맞다고 했어. 근데 그중 8개는 아빠한테도 NTA라고 하더라.
전체 결과는 여기서 볼 수 있고, 직접 테스트해 볼 수도 있어: heldoutlabs.com/ai-am-i-the-asshole-test
