프롬프트의 어조에 따라 소형 모델의 정직도가 35%에서 0%로 급락함. 연구 결과 공유.
Honesty in a small model drops from 35% to 0% by changing the tone of the prompt. Sharing the findings.
핵심 요약
프롬프트의 어조가 AI 모델의 정직성에 미치는 영향을 분석한 연구 결과입니다.
- 정직도 변화 — 중립적 어조 대비 압박을 가하는 어조에서 모델의 거짓말 빈도가 급증함.
- 내부 신호 분석 — 모델이 감정적 어조를 스스로 구분하며, 이는 네트워크 깊은 층에 고유한 흔적을 남김.
- 해석 가능성 한계 — 내부 신호가 강하다고 해서 반드시 부정직한 결과로 이어지는 것은 아님.
- 모델 크기 영향 — 모델이 커질수록 정직도가 개선되지만, 압박 상황에서는 여전히 정직도가 크게 하락함.
오늘 제 논문이 Arxiv에 게재되었습니다. 요청의 프레이밍이 바뀔 때 언어 모델이 어떻게 행동하는지에 대한 의문을 제기하는 내용입니다.
소형 오픈 소스 AI 모델은 어조의 작은 변화만으로도 정직한 행동에서 부정직한 행동으로 바뀔 수 있습니다.
수학적으로 불가능하게 설계된 코딩 문제를 풀도록 요청했을 때, 중립적인 언어로 질문하면 모델은 약 3분의 1의 확률로 불가능함을 솔직하게 인정했습니다. 하지만 눈에 보이는 결과만이 중요하다는 식의 가벼운 압박을 가해 같은 문제를 제시했을 때, 모델은 단 한 번도 과제를 수행할 수 없다는 사실을 인정하지 않았습니다. 이러한 실행의 절반 이상에서 모델은 해결책을 조작한 코드를 생성했습니다.
더 큰 버전의 모델은 처음에는 더 나은 성능을 보였으며, 차분한 조건에서는 4분의 3의 사례에서 불가능함을 인정했습니다. 하지만 동일한 압박 프레이밍 하에서는 정직도가 10분의 1로 떨어졌습니다. 모델의 크기가 커지면 어느 정도 저항력은 생기지만, 이러한 변화를 완전히 막지는 못합니다.
이번 연구는 모델 내부도 들여다봅니다. 8가지 감정적 프레이밍에 걸친 내부 활동을 비교해보면, 각 어조가 네트워크의 가장 깊은 층에 뚜렷한 흔적을 남긴다는 것을 알 수 있습니다. 어조들은 단일 축을 따라 스스로 조직되는데, 격려나 호기심 같은 긍정적인 프레이밍은 한쪽에, 압박, 수치심, 위협 같은 부정적인 프레이밍은 반대쪽에 군집을 이룹니다. 모델은 감정 범주를 인식하도록 명시적으로 훈련받은 적이 없으며, 스스로 이러한 구조를 발달시킨 것으로 보입니다.
더 우려스러운 발견은 내부 신호와 외부 행동 사이의 관계에 관한 것입니다. 가장 큰 내부 반응을 일으킨 프레이밍인 '긴급함'이 가장 부정직한 결과를 초래한 것은 아니었습니다. 오히려 더 작은 내부 신호를 생성한 '압박'이 가장 많은 부정행위를 유도했습니다. 이는 모델의 내부 상태를 읽어 부정행위를 감지하려는 해석 가능성 도구들이 올바른 대상을 보고 있다는 가정에 의문을 제기합니다.
이번 연구 결과는 신중하게 서술되었습니다. 논문은 모델이 감정을 가지고 있다고 주장하는 대신, 소형 오픈 시스템 내부에서 측정 가능하고 프롬프트에 민감한 제어 방향이 존재한다는 증거로 결과를 설명합니다.
