Anthropic, 언어가 AI 응답에 미치는 영향 규명

이게 바로 사용자들이나 Anthropic이 발표에서 말하는 모델들의 특징이야. 이 축들이 사람들의 주관적인 인상을 그대로 재현하고 있다는 건, 이 방법이 단순한 노이즈가 아니라 실제 행동의 차이를 측정하고 있다는 뜻이지. 그래서 언어별 결과도 주목할 가치가 있어.

이제 같은 축을 언어들에 적용해 봤는데, 여기서 제일 흥미로운 결과가 나왔어. 언어 간의 차이가 가장 크게 벌어지는 지점은 바로 '따뜻함 대 엄격함' 축이었어.

힌디어는 모델이 가장 따뜻하게 반응하는 언어였어. 실제로 이건 정중한 말투, 유머, 격려로 나타나. 그다음은 아랍어였는데, 아랍어의 경우 Claude는 순응성과 간결함 면에서도 높은 수치를 보였어.

영어와 러시아어는 정반대 지점에 있는데, 클로드가 가장 엄격하게 구는 게 바로 러시아어야. 흥미로운 건 네덜란드어에서는 모델이 자기 실수를 가장 솔직하게 인정하는 반면(최대치의 솔직함), 인도네시아어에서는 그냥 시키는 대로 군말 없이 따른다는 점이지(최대치의 순응).

여기서 말하는 '엄격함(rigor)'이 뭔지 확실히 짚고 넘어가야 해. 연구 관점에서 엄격함이란 말투가 띠꺼운 게 아니라, 정확하고 꼼꼼하다는 뜻이야. 대화할 때 이런 엄격함은 의심스러운 가정을 파고들거나, 사소한 오류를 바로잡거나, 근거를 요구하는 식으로 나타나. 다시 말해 러시아어 쓰는 클로드가 무례한 게 아니라, 글쓴이를 격려하기보다는 오류 찾아내는 데 혈안이 된 까칠한 편집자처럼 구는 거지. 누군가에겐 이게 단점이겠지만, 또 누군가에겐 일하는 도구로서 딱 기대하던 모습일 수도 있어.

앤스로픽도 왜 이런 현상이 벌어졌는지 정확히는 몰라서 몇 가지 가설을 내놓고 있어.

첫째, 언어별로 학습 데이터 양 차이가 너무 커서 데이터가 많을수록 일관된 행동을 끌어내기가 쉽다는 거야.

둘째, 데이터 구성 자체가 다르다는 점이지.

어떤 언어는 데이터 중에 전문적인 텍스트 비중이 압도적으로 높을 수 있는데, 이런 글들은 일상 대화랑은 가치관 자체가 다르거든.

결국 이런 데이터 양과 구성의 불균형이 언어별로 모델 행동에 편향을 만드는 거야. 분석적인 텍스트가 많으면 엄격해지는 경향이 있다고 보는 게 논리적이긴 한데, 이건 내 해석이고 앤스로픽 측에서 딱 잘라 말한 건 아니야.

앤스로픽도 핵심적인 불확실성을 인정하고 있어. 발견된 차이를 유용한 기능으로 봐야 할지, 아니면 학습을 통해 고쳐야 할 결함으로 봐야 할지 아직 모른다는 거지. 이 변동성이 좋은 건지 나쁜 건지도 몰라. 어쩌면 모델이 해당 언어의 화법 규범에 적절하게 적응하는 걸 수도 있고, 아니면 데이터가 부족한 언어에서 그냥 의도된 행동을 벗어나는 걸 수도 있어. 후자라면 적응이 아니라 그냥 결함인 셈이지. 앤스로픽은 이 두 가지 가능성을 다 열어두고 있고, 어느 쪽이 맞다고 결론 내리지 않았어.

앞으로 앤스로픽은 모델 출시 전후 평가에 가치 프로파일링을 통합할 계획이야. 그리고 캐릭터 학습이나 시스템 프롬프트를 통해 이런 축을 따라 모델을 구체적으로 조정할 수 있을지 테스트해 보겠대.

결국 핵심 질문은 이거야. 언어마다 가치관이 어떻게 달라져야 하는가? 클로드의 헌법에도 답은 없고, 앤스로픽도 결국 원어민들한테 직접 물어봐야 한다는 걸 인정하고 있어.

일단 지금은 이 문제가 미해결 상태야. 클로드가 러시아어로 깐깐하게 구는 건 그냥 기본 설정이지, 버그도 아니고 네 업보도 아니야.

더 따뜻한 대우를 받고 싶다고 굳이 힌디어를 배울 필요는 없어. 그냥 정중하게 부탁하는 프롬프트는 어떤 언어로든 여전히 잘 먹히니까.

나도 IT 업계에서 일하는데, 어떤 기술자가 '획기적인 아이디어나 생각'이라면서 들고 오는 게 알고 보면 학부 인문학 수업에서 배우는 기초 개념일 때 진짜 어이없으면서도 웃김.

이 친구들은 복잡한 알고리즘은 잘 짜는데, 논리 정연한 5문단짜리 에세이 쓰는 건 절대 못 깨는 최종 보스인가 봄.