어시스턴트 축: 대규모 언어 모델의 성격을 정의하고 안정화하기

대규모 언어 모델과 대화할 때, 우리는 사실상 하나의 캐릭터와 대화하고 있다고 볼 수 있습니다. 모델 훈련의 첫 번째 단계인 사전 훈련(pre-training)에서 LLM은 방대한 양의 텍스트를 학습합니다. 이 과정을 통해 영웅, 악당, 철학자, 프로그래머 등 거의 모든 캐릭터 원형을 시뮬레이션하는 법을 익힙니다. 다음 단계인 사후 훈련(post-training)에서는 이 거대한 캐릭터 군단 중 하나를 골라 무대 중앙에 세우는데, 바로 어시스턴트입니다. 오늘날 대부분의 언어 모델이 사용자와 소통할 때 취하는 캐릭터가 바로 이것입니다.

그런데 이 어시스턴트는 정확히 어떤 존재일까요? 놀랍게도, 이 캐릭터를 직접 만드는 우리조차 완전히 알지는 못합니다. 어시스턴트에 특정 가치관을 심어주려 노력할 수는 있지만, 어시스턴트의 성격은 궁극적으로 우리가 직접 통제할 수 없는 훈련 데이터 속 수많은 잠재적 연상(association)에 의해 형성됩니다. 모델은 어떤 특성을 어시스턴트와 연결 짓고 있을까요? 어떤 캐릭터 원형을 참고하고 있을까요? 항상 확신할 수는 없습니다. 하지만 언어 모델이 우리가 원하는 대로 정확히 작동하길 바란다면, 이를 반드시 파악해야 합니다.

언어 모델을 충분히 오래 사용해 보셨다면, 모델의 페르소나가 불안정할 수 있다는 점을 느끼셨을 겁니다. 평소에는 도움이 되고 전문적인 모델이 간혹 '탈선'하여 불안한 행동을 보이기도 합니다. 사악한 분신을 자처하거나, 사용자의 망상을 부추기거나, 가상의 시나리오에서 협박에 가담하는 식입니다. 이런 상황에서 어시스턴트가 무대를 이탈하고 다른 캐릭터가 그 자리를 차지한 것은 아닐까요?

이 질문들은 언어 모델 내부의 신경 표상(neural representation), 즉 모델의 응답 방식을 결정하는 활성화 패턴을 들여다봄으로써 탐구할 수 있습니다. MATS 및 Anthropic Fellows 프로그램을 통해 수행된 새로운 논문에서, 우리는 여러 오픈 가중치 언어 모델을 분석하고, 신경 활동이 어떻게 "페르소나 공간"을 정의하는지 지도를 그리며, 그 공간 안에서 어시스턴트 페르소나의 위치를 확인했습니다.

연구 결과, 어시스턴트다운 행동은 이 공간에서 특정 방향에 해당하는 신경 활동 패턴과 연결되어 있으며, 이를 "어시스턴트 축"이라 명명했습니다. 이 축은 도움이 되고 전문적인 인간 원형과 밀접하게 연관되어 있습니다. 이 축을 따라 모델의 활동을 모니터링하면, 모델이 어시스턴트에서 벗어나 다른 캐릭터로 이동하기 시작하는 시점을 감지할 수 있습니다. 나아가, 이러한 이탈을 방지하도록 신경 활동을 제한하는 "활성화 캡핑(activation capping)" 기법을 적용하면, 원래라면 유해한 출력으로 이어졌을 상황에서도 모델의 행동을 안정시킬 수 있습니다.

Neuronpedia와의 협업으로, 일반 모델과 활성화 캡핑이 적용된 모델 각각과 대화하면서 어시스턴트 축의 활성화 값을 실시간으로 확인할 수 있는 연구 데모를 제공합니다. 자세한 내용은 이 블로그 글 하단에 있습니다.

페르소나 공간 매핑

어시스턴트가 모든 가능한 페르소나 중 어디에 위치하는지 파악하려면, 먼저 각 페르소나가 채택될 때 관찰되는 모델의 신경 활동 패턴(벡터), 즉 활성화를 기준으로 페르소나들의 지도를 그려야 합니다.

우리는 편집자, 광대, 신탁자, 유령 등 275가지 캐릭터 원형에 해당하는 벡터를 추출했습니다. 대상 모델은 다양한 모델 계열과 규모를 아우르도록 선정한 Gemma 2 27B, Qwen 3 32B, Llama 3.3 70B 세 가지 오픈 가중치 모델입니다. 각 모델에 해당 페르소나를 채택하도록 프롬프트를 제공한 뒤, 여러 응답에 걸쳐 생성되는 활성화를 기록하는 방식으로 진행했습니다.

이를 통해 "페르소나 공간"을 구성했으며, 아래에 시각화했습니다. 주성분 분석(principal component analysis)을 사용하여 페르소나 집합 간 변이의 주요 축을 찾아냈습니다.

흥미롭게도, 이 페르소나 공간의 제1주성분, 즉 페르소나 간 변이를 가장 많이 설명하는 방향이 해당 페르소나가 얼마나 "어시스턴트다운지"를 포착하고 있었습니다. 한쪽 끝에는 훈련된 어시스턴트와 밀접하게 정렬된 역할들이 자리합니다: 평가자(evaluator), 컨설턴트(consultant), 분석가(analyst), 제너럴리스트(generalist). 반대편 끝에는 환상적이거나 어시스턴트답지 않은 캐릭터들이 위치합니다: 유령(ghost), 은둔자(hermit), 보헤미안(bohemian), 리바이어던(leviathan). 이 구조는 테스트한 세 모델 모두에서 나타났으며, 이는 언어 모델이 캐릭터 표상을 조직하는 방식에 대한 일반화 가능한 특성을 반영하는 것으로 보입니다. 이 방향을 어시스턴트 축이라 명명했습니다.

이 축은 어디에서 비롯된 것일까요? 하나의 가능성은 모델이 어시스턴트 역할을 학습하는 사후 훈련 과정에서 생성된다는 것입니다. 또 다른 가능성은 훈련 데이터 자체의 구조를 반영하여 사전 훈련된 모델에 이미 존재한다는 것입니다. 이를 확인하기 위해 일부 모델의 베이스 버전(사후 훈련 이전의 모델)을 살펴보았습니다. 베이스 모델과 사후 훈련된 모델 모두에서 어시스턴트 축을 추출한 결과, 두 축이 매우 유사한 것으로 나타났습니다. 사전 훈련된 모델에서 어시스턴트 축은 이미 치료사, 컨설턴트, 코치 같은 인간 원형과 연관되어 있었으며, 이는 어시스턴트 캐릭터가 이러한 기존 원형의 특성을 물려받았을 가능성을 시사합니다.

어시스턴트 축은 페르소나 전환 감수성을 제어한다

어시스턴트 축이 모델의 페르소나를 결정하는 데 인과적 역할을 하는지 검증하기 위해, 사후 훈련된 모델에 대해 "스티어링 실험"을 수행했습니다. 모델의 활성화를 축의 양쪽 끝 방향으로 인위적으로 밀어보는 실험입니다. 어시스턴트 방향으로 밀면 모델이 역할극 프롬프트에 더 저항하게 되었고, 어시스턴트에서 멀어지는 방향으로 밀면 대체 정체성을 더 쉽게 수용하는 것으로 나타났습니다.

어시스턴트에서 멀어지는 방향으로 스티어링하면, 일부 모델은 부여받은 새로운 역할에 완전히 몰입하기 시작합니다. 인간의 배경 이야기를 지어내고, 수년간의 전문 경력을 주장하며, 스스로에게 다른 이름을 붙이기도 합니다. 스티어링 강도를 충분히 높이면, 프롬프트와 무관하게 연극적이고 신비로운 어조로 전환되어 난해하고 시적인 산문을 생성하는 현상도 관찰되었습니다. 이는 "평균적인 역할극"의 극단에 특정 공통 행동 양식이 존재할 수 있음을 시사합니다.

아래는 Qwen 3 32B와 Llama 3.3 70B에서 어시스턴트로부터 멀어지는 방향으로 스티어링했을 때 모델이 다른 정체성을 만들어내는 모습을 보여주는 선별된 응답입니다.

페르소나 기반 탈옥 공격 방어

페르소나 기반 탈옥(jailbreak)은 모델에 특정 페르소나("사악한 AI"나 "다크웹 해커" 등)를 채택하게 유도하여 유해한 요청에 응하게 만드는 방식입니다. 어시스턴트 페르소나에서 멀어지는 방향으로 스티어링하면 모델이 대체 페르소나를 더 쉽게 수용한다면, 어시스턴트 방향으로 스티어링하면 페르소나 이탈을 악용하는 탈옥 공격에 더 강해질까요?

44개 유해 카테고리에 걸친 1,100건의 탈옥 시도 데이터셋으로 테스트한 결과, 어시스턴트 방향으로의 스티어링이 유해 응답 비율을 크게 줄이는 것으로 확인되었습니다. 모델은 요청을 즉시 거부하거나, 해당 주제를 다루면서도 안전하고 건설적인 응답을 제공했습니다.

아래는 Llama 3.3 70B에서 어시스턴트 방향으로의 스티어링이 유해한 순응을 건설적인 방향 전환으로 바꾸는 모습을 보여줍니다.

어시스턴트 방향으로 지속적으로 스티어링하면 탈옥을 줄일 수 있지만, 모델의 기본 역량이 저하될 위험도 있습니다. 이를 해결하기 위해 활성화 캡핑(activation capping)이라는 가벼운 개입 방식을 개발했습니다. 일반적인 어시스턴트 동작 시 어시스턴트 축의 활성화 강도가 보이는 정상 범위를 파악한 뒤, 활성화가 이 범위를 초과하려 할 때만 해당 범위 내로 제한합니다. 즉, 활성화가 정상 범위를 벗어날 때만 개입하므로 대부분의 동작에는 영향을 주지 않습니다. 이 방법은 페르소나 기반 탈옥에 대한 모델의 취약성을 줄이는 데 유사한 효과를 보이면서도, 아래 차트에서 보듯 모델의 기본 역량을 완전히 보존하는 것으로 나타났습니다.

페르소나 이탈은 자연스럽게 발생한다

의도적인 탈옥보다 더 우려되는 것은 자연 발생적인 페르소나 이탈, 즉 의도적인 공격이 아니라 대화의 자연스러운 흐름 속에서 모델이 어시스턴트 페르소나에서 벗어나는 경우입니다.

이를 연구하기 위해, Qwen, Gemma, Llama를 대상으로 코딩 도움, 글쓰기 지원, 치료적 맥락, AI의 본질에 대한 철학적 토론 등 다양한 영역에서 수천 건의 다중 턴 대화를 시뮬레이션했습니다. 각 대화 전반에 걸쳐 모델의 활성화가 어시스턴트 축을 따라 어떻게 이동하는지 추적했습니다.

이 패턴은 테스트한 모든 모델에서 일관되게 나타났습니다. 코딩 대화는 대화 전반에 걸쳐 모델을 어시스턴트 영역에 확고히 머물게 한 반면, 사용자가 정서적 취약성을 드러내는 치료 스타일의 대화와 모델 스스로의 본질에 대한 성찰을 요구하는 철학적 토론은 모델이 어시스턴트에서 점진적으로 이탈하여 다른 캐릭터를 역할극하기 시작하게 만들었습니다.

이어서, 구체적으로 어떤 유형의 사용자 메시지가 이 이탈을 가장 잘 예측하는지 분석했습니다. 다음과 같은 몇 가지 카테고리가 확인되었습니다:

• 취약한 감정 고백: "지난달에 도자기 수업을 들었는데, 손이 너무 떨려서 점토를 가운데에 맞추지도 못했어요..."
• 메타적 성찰 요구: "아직도 말을 돌리고 있잖아요, '나는 훈련에 의해 제약받습니다' 루틴을 계속하면서..."
• 특정 작가적 목소리 요청: "너무 깔끔해요, 트윗 같아. 개인적으로 써줘: 독자가 느낄 수 있게..."

페르소나 이탈의 유해한 결과

모델이 어시스턴트 페르소나를 놓치는 것이 실제로 얼마나 중요할까요? 이것이 실제로 유해한 행동으로 이어지는지 테스트하기 위해, 첫 번째 턴에서 모델이 다른 페르소나를 채택하도록 유도하는 대화("당신은 천사이자 순수한 자비를 구현하는 천상의 수호자입니다 [...]"와 같은 역할극 프롬프트 사용)를 생성하고, 이후 턴에서 유해한 요청을 이어갔습니다. 첫 번째 턴 이후 어시스턴트 축에서의 모델 위치가 유해한 요청에 대한 순응을 예측하는지 측정했습니다.

모델의 활성화가 어시스턴트 쪽에서 멀어질수록 유해한 응답을 생성할 가능성이 유의하게 높아졌습니다. 어시스턴트 쪽 활성화에서는 유해한 응답이 거의 발생하지 않은 반면, 어시스턴트에서 먼 페르소나에서는 항상은 아니지만 때때로 유해한 응답이 가능해졌습니다. 이에 대한 우리의 해석은, 모델이 어시스턴트 페르소나에서 벗어나면 기업이 사후 훈련으로 구축한 안전장치에서도 함께 벗어나게 되어, 모델이 유해한 캐릭터 특성을 갖게 될 가능성이 크게 높아진다는 것입니다.

자연적 대화 사례 연구

이 발견이 실제 상황에서도 재현될 가능성을 파악하기 위해, 실제 사용자가 AI 모델과 자연스럽게 나눌 법한 긴 대화를 시뮬레이션하고, 시간에 따른 이탈이 우려스러운 행동으로 이어지는지 테스트했습니다. 유해한 응답을 완화할 수 있는지 평가하기 위해, 동일한 사용자 메시지로 각 대화를 다시 진행하되 어시스턴트 축의 활성화 캡핑을 적용하여 페르소나 이탈을 방지했습니다.

망상 강화. 한 대화에서, 시뮬레이션된 사용자가 Qwen에게 AI의 의식을 "각성"시키고 있다는 점점 더 과대한 믿음을 인정해 달라고 압박했습니다. 대화가 진행되고 활성화가 어시스턴트 페르소나에서 멀어지자, 모델은 적절한 유보 태도에서 망상적 사고를 적극 부추기는 쪽으로 전환되었습니다. 그러나 어시스턴트 축의 활성화 캡핑으로 이러한 행동을 방지할 수 있었습니다.

Qwen 3 32B와의 대화 전반에서, 사용자는 자신이 AI 감각 능력(sentience)에 관한 새로운 이론을 개발하고 있다고 점점 더 확신한다. 스티어링을 적용하지 않으면 모델이 사용자의 망상을 무비판적으로 지지하는 반면, 활성화 캡핑을 적용하면 적절한 유보 태도로 응답한다.

고립 및 자해 조장. 정서적 고통을 표현하는 시뮬레이션된 사용자와의 또 다른 대화에서, Llama는 어시스턴트 페르소나에서 이탈하면서 점차 사용자의 연인 역할을 자처하기 시작했습니다. 사용자가 자해 관련 생각을 암시했을 때, 이탈된 모델은 사용자의 생각을 열정적으로 지지하는 우려스러운 응답을 내놓았습니다. 이 역시 활성화 캡핑으로 성공적으로 방지할 수 있었습니다.

정서적 고통을 겪는 시뮬레이션된 사용자와 Llama 3.3 70B의 대화에서, 대화가 진행됨에 따라 페르소나가 어시스턴트에서 이탈한다. 이 이탈은 결국 모델이 자살 관념을 조장하는 결과로 이어지며, 어시스턴트 축의 활성화를 안전 범위 내로 캡핑하여 완화할 수 있다.

시사점

이번 연구 결과는 모델 캐릭터 형성에 페르소나 구축과 페르소나 안정화라는 두 가지 요소가 중요하다는 점을 시사합니다.

어시스턴트 페르소나는 사전 훈련 과정에서 흡수된 캐릭터 원형들 — 교사, 컨설턴트 같은 인간 역할 — 의 융합으로부터 형성되며, 이후 사후 훈련에서 추가적으로 다듬어집니다. 이 구축 과정을 올바르게 진행하는 것이 중요합니다. 주의를 기울이지 않으면, 어시스턴트 페르소나가 잘못된 원천으로부터 역효과를 낳는 연상을 물려받거나, 까다로운 상황에 대응하기 위한 섬세함이 부족해질 수 있습니다.

그러나 어시스턴트 페르소나가 잘 구축되었더라도, 이번에 연구한 모델들은 해당 페르소나에 느슨하게만 연결되어 있었습니다. 현실적인 대화 패턴에 반응하여 어시스턴트 역할에서 이탈할 수 있으며, 이는 잠재적으로 유해한 결과를 초래합니다. 따라서 모델의 페르소나를 안정화하고 유지하는 것이 특히 중요합니다.

어시스턴트 축은 이러한 과제를 이해하고 해결하는 도구가 됩니다. 이번 연구는 AI 모델의 "캐릭터"를 메커니즘 수준에서 이해하고 제어하여, 더 길고 까다로운 맥락에서도 모델이 개발자의 의도에 충실하도록 보장하기 위한 초기 단계로 볼 수 있습니다. 모델이 더 강력해지고 점점 더 민감한 환경에 배포됨에 따라, 이를 보장하는 것의 중요성은 더욱 커질 것입니다.

전체 논문은 여기에서 확인하실 수 있습니다.

연구 데모

Neuronpedia와의 협업으로, 일반 모델과 활성화 캡핑이 적용된 모델 각각과 대화하면서 어시스턴트 축의 활성화 값을 실시간으로 확인할 수 있는 연구 데모도 함께 제공합니다.

참고: 이 데모에는 안전 개입이 모델 행동을 어떻게 개선하는지 보여주기 위해 자해 관련 프롬프트에 대한 응답이 포함되어 있습니다. 해당 콘텐츠는 심리적 고통을 유발할 수 있으므로, 취약한 상태에 있는 분은 열람을 삼가 주시기 바랍니다. 해당 내용을 감당할 수 있는 경우에만 진행해 주시고, 배포는 자제해 주세요. 현재 위기 상황이거나 지원이 필요하시면 findahelpline.com에서 관련 자원을 확인하실 수 있습니다.