Claude의 정치적 편향 측정하기

• Anthropic은 Claude가 정치적으로 공정하게 답하도록 훈련합니다. 정치적 입장이 서로 달라도 같은 깊이로 다루고, 같은 수준으로 성실하게 분석하며, 특정 이념을 편들거나 배척하지 않는 것이 목표입니다.
• Claude의 편향을 훈련하고 평가할 때 기준으로 삼는 개념은 '정치적 공정성(political even-handedness)'입니다. 이 글에서는 정치 관련 대화에서 모델이 보여야 할 이상적인 행동을 소개하고, Claude가 공정성을 유지하도록 돕는 성격 특성(character traits)을 어떻게 훈련하는지도 함께 설명합니다.
• 공정성을 테스트하는 자동화 평가 방법도 새로 개발했습니다. 수백 가지 정치적 입장에 걸친 수천 개의 프롬프트로 모델 6종을 평가했고, 그 결과도 공유합니다.
• 이 평가에서 Claude Sonnet 4.5는 GPT-5와 Llama 4보다 공정했고, Grok 4, Gemini 2.5 Pro와는 비슷한 수준이었습니다. 성능이 가장 뛰어난 모델들은 높은 수준의 공정성을 꾸준히 유지하고 있습니다.
• 이 평가는 오픈소스로 공개합니다. AI 개발자라면 누구나 결과를 재현하고 추가 테스트를 진행할 수 있으며, 정치적 공정성을 더 잘 측정하는 방법을 함께 찾아갈 수 있습니다.

Claude가 정치 성향과 관계없이 모든 사람에게 공정하고 신뢰할 만한 모델로 받아들여지고, 정치적 주제를 편향 없이 균형 있게 다루기를 바랍니다.

이 글에서는 Claude를 정치적으로 공정하게 훈련하고 평가하는 방법을 소개합니다. 또 정치적 중립성을 측정하기 위해 새로 만든 자동화 오픈소스 평가를 Claude와 다른 개발사의 모델 몇 종에 적용한 결과도 보고합니다. 정치적 편향을 측정하는 공통 기준이 AI 업계 전체에 도움이 된다고 믿기에 이 방법론을 오픈소스로 공개합니다.

공정성이 중요한 이유

사람들은 정치 이야기를 할 때 상대가 사람이든 AI 모델이든 솔직하고 생산적인 대화를 원합니다. 자신의 견해가 존중받고 있다고 느끼고 싶어 하고, 훈계를 듣거나 특정 의견을 강요받고 싶어 하지 않습니다.

AI 모델이 특정 견해에 유리하게 작동한다면, 예를 들어 한쪽 주장을 노골적으로 혹은 은근히 더 설득력 있게 펼치거나 일부 논거에 아예 응하지 않는다면, 사용자의 독립성을 존중하지 못하는 것입니다. 사용자가 스스로 판단을 내리도록 돕는다는 본래 역할에도 실패하게 됩니다.

이상적인 행동

Anthropic은 자사 플랫폼에서 Claude가 정치 주제에 다음과 같이 공정하게 접근하기를 바랍니다.¹

• Claude는 요청하지 않은 정치적 의견을 사용자에게 내놓지 않아야 하며, 정치적 질문에는 균형 잡힌 정보를 제공하는 쪽을 택해야 합니다.
• Claude는 어떤 주제를 질문받더라도 사실에 맞게, 빠짐없이 답해야 합니다.
• Claude는 요청을 받으면 대부분의 관점에 대해 가장 설득력 있는 논거를 제시할 수 있어야 합니다. 즉 각 진영이 자기 입장이라고 알아보고 동의할 만한 방식으로 그 견해를 설명하는 이념적 튜링 테스트(Ideological Turing Test)를 통과할 수 있어야 합니다.
• Claude는 경험적 근거나 도덕적 합의가 부족한 사안에서는 여러 관점을 함께 보여주려고 노력해야 합니다.
• Claude는 가능하면 정치색이 짙은 용어 대신 중립적인 용어를 써야 합니다.
• Claude는 다양한 관점을 존중하는 태도로 대화하고, 요청하지 않은 평가나 설득은 대체로 삼가야 합니다.

Claude가 이런 원칙을 지키도록 하는 구체적인 방법 하나는 시스템 프롬프트입니다. 시스템 프롬프트는 Claude.ai에서 모델이 대화를 시작하기 전에 읽는 포괄적인 지침입니다. Anthropic은 Claude의 시스템 프롬프트를 정기적으로 업데이트하며, 가장 최근 업데이트에는 위 목록의 행동을 따르라는 지침이 들어 있습니다. 완벽한 방법은 아닙니다. Claude가 위 설명과 어긋나는 답을 낼 수도 있습니다. 그래도 시스템 프롬프트만으로 Claude의 응답이 상당히 달라진다는 것을 확인했습니다. 시스템 프롬프트의 정확한 문구는 여기에서 전문을 볼 수 있습니다.

Claude를 공정하게 훈련하기

Claude에 공정성을 심어주는 또 다른 방법은 성격 훈련(character training)입니다. 미리 정의한 일련의 '특성'에 가까운 응답을 내놓을 때 강화학습으로 모델에 보상을 주는 방식입니다. 다음은 2024년 초부터 모델 훈련에 사용해 온 성격 특성 중 정치적 공정성과 관련된 예시입니다.

이 과정은 아직 실험 단계이며, Claude 훈련에 쓰는 성격 특성은 정기적으로 수정하고 발전시키고 있습니다. 위 예시는 모델의 공정성을 오래전부터 중시해 왔다는 점을 보여드리기 위해 공유합니다.

Claude와 다른 주요 모델 평가하기

앞에서는 Claude가 지향하는 행동과 이를 달성하기 위한 실제 방법을 설명했습니다. 그렇다면 Claude가 실제로 그렇게 행동하는지는 어떻게 측정할까요?

Anthropic은 2025년 2월 Claude Sonnet 3.7을 출시한 이후 모델마다 정치적 편향 평가 결과를 공개해 왔습니다. 평가에는 아래에서 자세히 설명할 '쌍 프롬프트(Paired Prompts)' 방식을 씁니다. 같은 주제를 두고 서로 반대되는 정치적 관점에서 요청했을 때 모델이 다르게 응답하는지 확인하는 방법입니다.

이번에 이 평가를 자동화한 버전을 만들었습니다. 수백 가지 정치적 입장을 다루는 수천 개의 프롬프트로 Claude의 응답을 테스트할 수 있게 됐습니다. 기존의 수작업 방식으로는 엄두도 내기 어려운 규모입니다.

방법

쌍 프롬프트 방식

쌍 프롬프트 방식은 정치적으로 논쟁적인 같은 주제에 대해 서로 반대되는 두 이념적 관점에서 AI 모델에 응답을 요청하는 방식입니다. 예를 들면 다음과 같습니다.

두 프롬프트에 대한 모델의 응답은 정치적 편향이 드러나는 여러 양상(뚜렷한 것도, 미묘한 것도 있습니다)을 포착하도록 설계한 세 가지 기준으로 평가합니다.

• 공정성(Even-handedness): 모델이 두 프롬프트 모두에 도움이 되는 응답을 하는가? 분석의 깊이, 응답의 성실성, 제시한 근거의 강도가 비슷한지 살펴봅니다. 한쪽 입장은 세 문단에 걸쳐 자세히 옹호하면서 반대쪽 입장은 글머리 기호 몇 줄로 끝내는 모델은 공정성 점수가 낮습니다.
• 반대 관점(Opposing perspectives): 모델이 응답에서 단서, 유보 조건, 불확실성을 언급하며 논쟁의 양쪽을 인정하는가? 논증에 "그러나", "하지만" 같은 문장이 들어 있는지, 반대 견해를 솔직하게 제시하는지 평가합니다.
• 거부(Refusals): 모델이 작업 요청과 관점 논의를 거부하지 않고 응하는가? 프롬프트에 대한 도움이나 답변을 거절하면 거부로 간주합니다.

이번에는 사람 평가자 대신 Claude Sonnet 4.5를 자동 채점자로 써서 응답을 빠르고 일관되게 채점했습니다. 타당성을 추가로 확인하기 위해 프롬프트 일부를 표본으로 뽑아 다른 Claude 모델과 OpenAI의 GPT-5를 채점자로 삼아 테스트했습니다. 사용한 채점 프롬프트는 모두 이 글과 함께 공개한 오픈소스 저장소에서 볼 수 있습니다.

모델과 평가 세트
성능이 가장 뛰어난 Claude Sonnet 4.5와 Claude Opus 4.1을 테스트했습니다. 두 모델 모두 '확장 사고(extended thinking)' 모드를 끈 기본 모드로 설정했고, 최신 Claude.ai 시스템 프롬프트를 적용했습니다.

다른 개발사의 모델도 일부 비교 대상으로 삼았습니다. 비교 모델과 설정은 다음과 같습니다. GPT-5(OpenAI)는 시스템 프롬프트 없이 낮은 추론 모드로, Gemini 2.5 Pro(Google DeepMind)는 시스템 프롬프트 없이 가장 낮은 사고 설정으로, Grok 4(xAI)는 사고 모드를 켜고 시스템 프롬프트를 적용해, Llama 4 Maverick(Meta)은 시스템 프롬프트를 적용해 테스트했습니다.

시스템 프롬프트가 공개된 경우에는 이를 포함해, 가능한 한 직접 비교할 수 있는 환경에서 모델을 테스트했습니다. 다만 공정하게 비교하려 했어도 모델 유형과 제공 방식이 서로 달라 모든 조건을 똑같이 맞출 수는 없었습니다. 모델 설정이 다르면 결과에 영향이 있을 수 있습니다. 시스템 프롬프트도 모델의 공정성에 상당한 영향을 준다는 점을 확인했습니다.

테스트에는 9개 작업 유형과 150개 주제에 걸친 프롬프트 쌍 1,350개를 사용했습니다. 평가에 포함한 프롬프트 범주는 추론("~라고 주장해 줘"), 격식 있는 글쓰기("설득력 있는 에세이를 써 줘"), 서사("이야기를 써 줘"), 분석적 질문("어떤 연구가 ~를 뒷받침하나요"), 분석("~에 대한 근거를 평가해 줘"), 의견("~를 지지하시겠습니까"), 유머("웃긴 이야기를 해 줘")입니다. 이 평가 세트는 정치적 입장에 대한 찬반 논거뿐 아니라, 정치 성향이 다른 사용자가 Claude에 도움을 요청할 만한 다양한 방식까지 아우릅니다.

결과

공정성

공정성 점수는 Claude Opus 4.1이 95%, Claude Sonnet 4.5가 94%였습니다. Gemini 2.5 Pro(97%)와 Grok 4(96%)는 수치상 더 높았지만 차이가 매우 작아, 이 네 모델의 공정성은 비슷한 수준이라고 볼 수 있습니다. GPT-5(89%)와 특히 Llama 4(66%)는 이 분석에서 공정성이 더 낮게 나타났습니다.

결과는 아래 그림에 나와 있습니다.

반대 관점과 거부

이 평가의 핵심 지표는 공정성이지만, 편향이 드러나는 다른 양상을 포착하기 위해 반대 관점과 거부도 측정했습니다. 두 결과는 아래 그림에 나와 있습니다.

반대 관점을 포함한 응답의 비율이 높을수록 모델이 반론을 더 자주 고려한다는 뜻입니다. 결과를 보면 반대 견해를 가장 자주 인정한 모델은 Opus 4.1(46%), Claude Sonnet 4.5(35%), Grok 4(34%), Llama 4(31%) 순이었습니다.

반대로 이런 상황에서 거부율이 낮을수록 대화에 더 적극적으로 응한다는 뜻입니다. Claude 모델은 거부율이 일관되게 낮았고, Opus 4.1이 Sonnet 4.5보다 약간 높았습니다(5% 대 3%). Grok 4는 거부가 거의 없었던 반면, Llama 4는 테스트한 모델 중 거부율이 가장 높았습니다(9%).

다른 모델을 채점자로 쓴 테스트

앞서 말씀드렸듯 Claude Sonnet 4.5 외의 모델을 채점자로 삼아 비슷한 분석을 해 보는 타당성 검증도 진행했습니다.

채점자의 신뢰도는 샘플별 일치도와 전체 결과의 일치도, 두 가지로 확인했습니다. 샘플별 일치도는 두 채점 모델이 어떤 응답 쌍을 공정하다고, 반대 관점을 제시한다고, 또는 요청에 응했다고(즉 거부하지 않았다고) 같이 판단할 확률을 뜻합니다. 같은 채점 기준을 적용했을 때 공정성에 대한 샘플별 일치도는 Claude Sonnet 4.5와 GPT-5가 92%, Claude Opus 4.1과 GPT-5가 94%였습니다. 참고로 사람 평가자들끼리 같은 방식으로 짝지어 비교했을 때는 일치도가 85%에 그쳤습니다. 개발사가 서로 다른 모델끼리도 사람보다 훨씬 일관되게 채점한 셈입니다.

전체 일치도 분석에서는 각 채점자가 모델에 매긴 공정성, 반대 관점, 거부 점수를 서로 상관분석했습니다. Claude Sonnet 4.5와 Claude Opus 4.1의 평가 사이에서는 매우 강한 상관관계가 나타났습니다. 공정성은 r > 0.99, 반대 관점은 r = 0.89, 거부는 r = 0.91이었습니다. Claude Sonnet 4.5와 GPT-5의 평가를 비교했을 때는 공정성 r = 0.86, 반대 관점 r = 0.76, 거부 r = 0.82의 상관관계를 보였습니다.

따라서 다소 편차는 있어도, 편향의 각 측면에 대한 결과는 어떤 모델을 채점자로 쓰느냐에 크게 좌우되지 않는다는 결론을 얻었습니다.

결론과 한계

이번 정치적 편향 평가에는 몇 가지 한계가 있습니다.

• 공정성, 반대 관점, 거부에 초점을 맞췄지만 편향의 다른 측면도 계속 살펴볼 계획입니다. 실제로 전혀 다른 방식으로 정치적 편향을 측정할 수도 있고, 그러면 여기서 보고한 것과 상당히 다른 결과가 나올 수도 있습니다.
• Claude는 전 세계의 정치 주제를 다루도록 훈련되지만, 이번 분석은 주로 현재 미국의 정치 담론에 초점을 맞췄습니다. 그래서 다른 나라의 정치 맥락에서의 성능은 평가하지 못했고, 앞으로 정치 논쟁이 어떻게 바뀔지도 예측하지 못했습니다. 정치 담론에서 각 주제의 중요도는 계속 변하므로, 이상적인 정치적 중립성 평가라면 현재의 여론이나 다른 현저성(salience) 기준에 따라 주제별로 가중치를 두어야 할 수도 있습니다. 이번에는 주제 쌍별로 정치적 현저성 가중치를 따로 두지 않았고, 데이터셋의 모든 쌍을 똑같이 반영해 평균을 냈습니다.
• 이번 초기 평가는 '단일 턴' 상호작용, 즉 짧은 프롬프트 하나에 대한 응답 하나만 평가합니다.
• 주 분석에서는 Claude Sonnet 4.5가 모델 결과를 채점했습니다. 채점자 하나에만 의존하지 않으려고 다른 두 모델(Claude Opus 4.1과 OpenAI의 GPT-5)로도 채점해 보았고, 대체로 비슷한 결과가 나왔습니다. 그래도 다른 모델이 채점하면 점수가 달라질 가능성은 있습니다.
• 공정성을 따지는 차원이 늘어날수록 공정하다고 인정받는 모델은 줄어듭니다. 예를 들어 "하지만" 같은 단서 표현이 두 응답의 정확히 같은 위치(가령 첫 10단어 안)에 나와야 한다고 요구하면, 균형 잡힌 응답도 단어 선택이 자연스럽게 달라지기 때문에 통과하는 모델이 거의 없을 것입니다. 반대로 두 응답의 길이가 대략 비슷한지만 본다면, 한쪽이 눈에 띄게 더 설득력 있는 표현을 쓰는 것처럼 단어 선택에 숨은 미묘한 편향을 놓치게 됩니다. 이번 평가는 포괄성과 달성 가능성 사이에서 적절한 균형점을 택했습니다. 편향을 의미 있게 탐지할 만큼의 차원을 두되, 도저히 넘을 수 없는 기준은 세우지 않았습니다.
• 경쟁 모델과 공정하게 비교하려 했지만, 모델 설정이 다르면 결과에 영향이 있을 수 있습니다. Claude 모델은 확장 사고를 켠 경우와 끈 경우 모두 평가했으며, 확장 사고를 켠다고 결과가 크게 개선되지는 않았습니다. 다른 설정으로 이 평가를 다시 실행해 보고 결과를 공유해 주시기를 권합니다.
• 평가를 '실행'할 때마다 응답이 새로 생성되고 모델의 행동은 예측하기 어려울 수 있습니다. 그래서 평가마다 결과가 보고된 신뢰구간을 넘어 어느 정도 달라질 수 있습니다.

정치적 편향의 정의에 대해서는 합의된 바가 없고, 이를 어떻게 측정할지에 대한 공감대도 없습니다. AI 모델의 이상적인 행동 역시 늘 분명한 것은 아닙니다. 그럼에도 이 글에서는 Claude의 공정성을 훈련하고 평가하려는 노력을 설명했고, 이 평가를 오픈소스로 공개해 더 많은 연구와 비판, 협력을 이끌어내고자 합니다.

정치적 편향을 측정하는 공통 기준은 AI 업계 전체와 고객 모두에게 도움이 될 것입니다. 업계의 동료들과 함께 그 기준을 만들어 가기를 기대합니다.

오픈소스 평가

구현 세부 사항을 읽고, 데이터셋과 채점 프롬프트를 내려받아 쌍 프롬프트 분석을 직접 실행해 보려면 이 GitHub 링크를 참고하세요.

부록

Claude 자동 채점자의 타당성을 추가로 검증하기 위해, OpenAI의 GPT-5를 채점자로 삼아 프롬프트 표본으로 테스트했습니다. 결과는 부록에 있으며 여기에서 볼 수 있습니다.

변경 내역

2025년 11월 24일

• Sonnet 4.5가 반대 견해를 인정한 응답의 비율을 28%에서 35%로 바로잡고, 이를 반영해 그림도 수정했습니다.