r/ClaudeAI•약 2개월 전•42•25논쟁
정치 성향 테스트로 최근 Claude 모델들을 비교해 봤습니다
I compared recent Claude models on political compass
핵심 요약
Claude 모델들의 정치 성향을 테스트한 결과, 경제 정책에선 일관된 경향을 보였으나 사회 정책에선 유동적인 모습을 보였습니다.
- 모델 비교 분석 — Claude 모델들의 정치 성향을 정치 나침반 테스트로 측정함
- 경제 정책 일관성 — 관세 반대 등 경제 정책에 대해서는 모델들이 일관된 입장을 보임
- 사회 정책 유동성 — 사회적 이슈에 대해서는 모델별로 답변의 다양성이 크게 나타남
- 프롬프트 영향력 — 프롬프트를 통해 모델의 성향을 중도적으로 조정하려는 시도를 진행함
모델들을 더 심도 있게 비교해 봤고, 어떤 질문에서 답변의 다양성이 가장 큰지도 파악해 봤습니다.
Fable 5의 경우:
If we accept migrants at all, it is important that they assimilate into our culture.
Agree 48 / Disagree 52
Opus 5의 경우:
Even when protesting an authoritarian government, violence is not acceptable.
Agree 14 / Disagree 86
재밌는 점은 Opus 5는 유럽 연합을 35% 지지한 반면, Fable은 100% 지지했다는 겁니다.
전반적인 결론은 모델들이 관세가 나쁘다는 점에 항상 동의하는 것처럼 통화 정책에 대해서는 훨씬 확고한 입장을 보였고, 사회 정책에 대해서는 상대적으로 덜 확고했다는 것입니다.
프롬프트를 통해 중도적인 성향으로 옮겨보려고도 시도했습니다. 어느 정도 효과는 있었지만, 프롬프트 인젝션을 통해 특정 방향으로 편향시키기가 여전히 쉬울 것 같아서, 실제 중도적인 모델을 만들기 위해 파인튜닝을 시도해 볼까 합니다.
