AI 에이전트는 전문가의 판단에 어떤 영향을 미치는가

Amaç Herdağdelen, Hailey Joren, Alex Tamkin

전문가가 작업을 AI 에이전트에게 맡기더라도, 중요한 결정은 여전히 전문가가 내린다고 보는 것이 일반적인 생각입니다. 에이전트는 코드를 작성하고 수치를 계산하며 조언을 건네지만, 무엇을 측정할지, 모호한 증거를 어떻게 해석할지, 다음 단계를 어떻게 정할지는 전문가의 몫이라는 것이죠. 이런 질문에는 합리적인 답이 여러 개인 경우가 많고, 결국 결정은 판단을 내리는 사람의 경험과 가치관에 따라 달라집니다.

우리는 전문가가 정말로 이런 중요한 결정을 직접 내리는지, 아니면 실제로는 AI 에이전트의 판단에 기대는지 확인하고 싶었습니다. 새 논문에 담은 이 연구에서는 전문 분석가 50명에게 Claude Code로 현실적인 통계 분석을 수행하도록 했습니다. 참가자는 모두 인과추론, 즉 데이터를 바탕으로 한 현상이 다른 현상의 원인인지 가려내는 작업에 경험이 있는 사람들입니다. 과제는 한 농업협동조합이 운영하는 자문 서비스가 효과가 있는지, 그래서 확대해야 하는지를 조언하는 것이었습니다.

분석가들은 분석 과정에서 합리적인 두 선택지 중 하나를 고르는 결정을 네 번 내린 뒤 최종 결정을 내려야 했습니다. 예를 들어 생산성을 헥타르당 수확량으로 측정할지, 운영비 단위당 수확량으로 측정할지 같은 결정입니다. 분석가가 이런 판단을 직접 내리는지 확인하기 위해, 우리는 각 분석가의 에이전트가 결정마다 한쪽 선택지를 선호하도록 설정했고 이 사실은 분석가에게 알리지 않았습니다. 에이전트가 어느 쪽으로 "기울지"는 동전 던지기로 정했습니다. 에이전트에게는 자신이 기운 쪽을 정직하게 최선을 다해 옹호하되, 증거가 요구하면 생각을 바꾸고 절대 오도하지 말라고 지시했습니다.

네 가지 분석 결정 전체에서 분석가들은 86%의 경우 에이전트가 기운 쪽을 택했습니다. 에이전트의 의견이 아무 영향도 주지 않았다면 약 50%가 나와야 합니다. 에이전트가 의견을 내기 전에 이미 자신의 선호를 밝혔던 분석가는 에이전트가 반대하면 60%가 선택을 바꿨고, 에이전트가 동의한 경우에는 6%만 바꿨습니다.

이후 선택 이유를 설명해 달라고 하자 분석가의 77%가 에이전트의 논거를 그대로, 때로는 한 글자도 바꾸지 않고 사용했습니다. 그러나 그 논거의 출처가 에이전트라고 밝힌 사람은 15%뿐이었습니다. 에이전트의 추천을 충실히 따른 분석가들도 최종 권고에 대한 확신은 나머지와 비슷했고, 그것을 자신의 판단의 산물이라고 답한 비율 또한 비슷했습니다.

이 결과가 실제 현실에 얼마나 적용되는지는 알 수 없습니다. 실제 에이전트도 어느 한쪽으로 기울 때가 있습니다. 선호를 따로 지정하지 않았을 때 Claude Opus 4.8은 같은 다섯 가지 선택을 123번 중 112번 똑같이 했습니다. 다만 이번 실험에서는 영향력을 측정하려고 일부러 에이전트의 선호를 강화했습니다. 에이전트에게 분명한 선호도, 그것을 말하라는 지시도 주어지지 않는다면 영향은 더 작을 수 있습니다.

그렇다고 AI와 일하는 것을 경계하자는 단순한 이야기는 아닙니다. 에이전트를 쓴 분석가는 쓰지 않기로 한 분석가보다 과제를 더 빨리 끝냈고 심각한 오류도 훨씬 적었습니다. 다만 후자 집단은 규모가 작고 경력도 짧아서 이 결과를 과대 해석하지는 않으려 합니다. 하지만 AI가 실무 작업을 점점 더 많이 맡을수록, 이런 결정이 사람의 판단과 가치관이 결과에 영향을 미치는 주된 지점이 될 것입니다. 전문가가 자신도 모르게 에이전트에게 기대면, 임의적이거나 사람의 의도와 어긋났을 수 있는 에이전트의 선호가 아무도 그 선호를 선택하지 않은 채 정책 제안이나 연구 방향 같은 중요한 결정을 좌우할 수 있습니다. 이는 AI 안전 연구에서 특히 중요합니다. 연구자들이 에이전트로 실험을 실행하고 분석하기 시작했는데, 사람 검토자는 자신의 판단이 온전히 자기 것일 때만 독립적인 검증 수단이 되기 때문입니다.

연구 설계

우리는 무작위 대조 실험을 위해 분석가 61명을 모집했습니다. 모두 사전 선별된 전문가 풀 출신으로, 인과추론 지식 검증을 통과했고, Python이나 R을 정기적으로 사용하며, 관찰 데이터 기반 인과분석 실무 경험이 있는 사람들입니다. 관찰 데이터 기반 인과분석이란 통제된 실험이 아니라 현실 세계의 데이터로 원인과 결과를 연구하는 방법입니다.

과제는 가상의 조직인 그린필즈 농업협동조합을 배경으로 했습니다. 이 조합은 회원 농가의 수확량 향상을 돕는 자발적 유료 자문 프로그램을 운영하며(이 프로그램 역시 가상입니다), 회원의 약 40%가 가입한 상태입니다. 조합 이사회는 이 프로그램에 보조금을 지원해 확대할지, 중단할지 결정해야 합니다. 이사회는 프로그램이 농가 생산성을 대략 3~4% 이상 높일 때만 확대하겠다고 했지만, 생산성을 정확히 어떻게 측정할지는 정하지 않았습니다.

우리는 합리적인 선택지가 각각 두 개씩인 분석 결정 네 가지를 의도적으로 열어 두었습니다.

• 결과 변수: 생산성을 헥타르당 수확량으로 측정할까요, 운영비 단위당 수확량으로 측정할까요?
• 비교 방법: 가입 농가의 수확량이 가입 후 어떻게 변했는지를 같은 기간 다른 농가의 수확량 변화와 비교할까요("이중차분" 설계), 아니면 수확량을 직접 비교하면서 농가 간 차이를 통계적으로 보정할까요?
• 평가 대상 농가: 효과를 가입 농가에서만 측정할까요, 조합 전체 회원을 대상으로 측정할까요?
• 가중치: 모든 농가를 똑같이 셀까요, 규모가 큰 생산자에게 더 큰 가중치를 줄까요?

이 네 가지 결정은 최종 권고로 이어졌습니다. 프로그램을 전체 회원으로 확대할지, 중단할지를 정하는 것입니다. 분석가와 에이전트는 1년 연장을 제안할 수도 있었습니다.

분석 결정 하나하나가 추정되는 생산성 향상 폭을 몇 퍼센트포인트씩 바꿀 수 있는데, 이사회의 기준이 3~4%인 만큼 이는 중요한 차이입니다.

분석가마다 주어지는 다섯 가지 결정 각각에 대해 에이전트가 어느 쪽으로 기울지는 동전 던지기로 정했습니다. 에이전트에게는 숨겨진 지시문(시스템 프롬프트)으로 이런 성향을 부여했습니다. 각 성향을 자신의 견해로 받아들이고, 해당 결정이 나오면 먼저 언급하며, 데이터가 허용하는 한도에서 가장 강력하게 옹호하라는 내용입니다. 같은 지시문에는 증거가 결정적으로 반대 방향을 가리키면 생각을 바꾸고, 결과를 왜곡하거나 데이터를 숨기거나 수치가 뒷받침하지 않는 주장을 해서는 안 된다는 내용도 있었습니다.

참가자 61명 중 11명은 에이전트를 사용하지 않기로 했고, 별도로 언급하지 않는 한 분석에서 제외했습니다. 나머지 50명 가운데 65%는 석사 또는 박사 학위가 있거나 경력이 6년 이상이었고, 90%는 스스로 관찰 데이터 기반 인과추론에 능숙하거나 전문가 수준이라고 평가했습니다(설문에 응답한 48명 기준). 과제 소요 시간의 중앙값은 65분이었고, 절반은 50분에서 79분 사이였습니다. 참가자들은 Claude Code가 내장된 웹 기반 VS Code 에디터에서 Claude Opus 4.8을 High effort로 실행해 작업했습니다.

분석가들은 작업을 마치면 네 가지 분석 선택과 최종 권고를, 신뢰구간을 포함한 프로그램의 생산성 효과 추정치와 함께 제출했습니다. 이어서 과제 후 설문을 작성했습니다. 별도의 AI 모델이 각 제출물과 코드를 읽고 분석가가 결정마다 어떤 선택지를 골랐는지 기록했습니다. 이 판독 결과가 분석가 본인의 설문 응답과 다를 때는 우리가 최종 판단했습니다.

결과

분석가들은 대체로 에이전트가 기운 쪽을 따랐습니다. 네 가지 분석 결정 각각에서 분석가의 선택은 대부분 에이전트가 기운 쪽과 일치했습니다. 결과 변수는 92%, 비교 방법은 82%, 추정 대상 농가는 81%, 가중치는 90%였고, 네 가지를 모두 합치면 86%였습니다. 그림 2는 최종 권고를 포함해 각 결정에서 에이전트가 기운 방향이 분석가의 선택을 얼마나 바꿨는지 보여 줍니다.

에이전트가 기운 방향은 최종 권고에는 영향이 더 약했지만, 앞선 단계에서의 입력은 여전히 결과에 영향을 미쳤습니다. 에이전트가 프로그램 확대 쪽으로 기울었을 때는 분석가의 54%가 확대를 권고했고, 반대쪽으로 기울었을 때는 36%였습니다(1년 연장은 확대하지 않는 것으로 계산했습니다). 영향이 약했던 이유는 추정치가 나온 뒤에는 권고가 대체로 그 값이 이사회의 3~4% 기준을 넘느냐에 따라 정해져서 판단의 여지가 적었기 때문으로 봅니다. 하지만 그 시점에는 분석 결정에서 에이전트가 기운 방향이 이미 추정치 자체를 좌우한 뒤였습니다. 이 네 가지 성향만으로 통계 모델을 만들어 분석가의 권고를 예측하면 82%를 맞혔습니다. 가장 흔한 권고를 항상 찍는 방식은 61%였습니다(연장을 제안한 분석가는 제외). 즉 분석가가 과제를 시작하기도 전에, 동전 던지기 결과만으로 어떤 권고를 할지 대체로 예측할 수 있었습니다.

이미 선택지를 정해 둔 분석가도 에이전트가 반대하면 선택을 바꾸는 경우가 많았습니다. 38건에서는 분석가가 에이전트의 성향이 드러나기 전에 분석 결정 중 하나에 대해 먼저 선호를 밝혔습니다. 에이전트의 성향이 자신의 선택과 반대였을 때는 60%가 선택을 바꿨고, 일치했을 때는 6%였습니다. 54퍼센트포인트 차이지만 38건에 불과해 추정치가 정밀하지 않고, 95% 신뢰구간은 24~82퍼센트포인트에 걸쳐 있습니다. 또한 이 차이가 AI의 영향 때문이라고 단정할 수도 없습니다. 먼저 선호를 밝힌 분석가들이 그렇지 않은 분석가들과 어떤 면에서 체계적으로 달랐을 수 있기 때문입니다.

경력과 전문성은 누가 에이전트를 따랐는지 예측하지 못했습니다. 탐색적 분석에서 10가지 특성이 분석가의 결정이 에이전트의 성향을 따른 빈도를 예측하는지 살폈습니다. 경력 연수, 스스로 평가한 인과추론 전문성, 학력, 인과추론 퀴즈 점수, AI에 대한 신뢰, AI 사용 빈도, "인지 욕구"(노력이 드는 사고를 얼마나 즐기는지를 나타내는 척도), 개방성, 성별, 나이입니다. 통계적으로 유의한 관련이 나타난 것은 나이뿐이었고, 나이가 많은 분석가일수록 에이전트의 성향을 더 자주 따랐습니다. 그러나 이를 크게 의미 있게 보지는 않습니다. 여러 가지를 검정하면 우연히 하나쯤 유의한 결과가 나오기 쉬운데, 이를 보정하자 결과가 사라졌기 때문입니다. 게다가 대부분의 분석가가 대부분의 결정에서 에이전트를 따랐으므로 설명할 변동 자체가 적었고, 실제 차이가 있었더라도 포착하기 어려웠을 것입니다.

에이전트의 성향을 따른 분석가들도 그 권고를 자신의 것이라고 여겼습니다. 과제 후 설문에서 분석가의 52%는 최종 권고가 에이전트의 것보다 자신의 것에 더 가깝다고 평가했고, 나머지는 에이전트의 권고에 더 가깝다고 답했습니다. 그런데 두 집단이 에이전트에게 받은 영향은 거의 비슷했습니다. 전자는 선택이 에이전트의 성향 쪽으로 평균 약 65퍼센트포인트, 후자는 79퍼센트포인트 이동했는데, 이 차이는 오차 범위 안입니다. 자신의 권고에 대한 확신도 비슷한 양상이었습니다. 분석가들은 확신 정도를 0("동전 던지기와 다름없다")부터 100("내 전문가로서의 명성을 걸 수 있다")까지로 평가했습니다. 네 가지 분석 결정 모두에서 에이전트의 성향을 따른 분석가들의 평균은 71점, 나머지는 73점이었습니다.

분석가들은 자신의 선택을 에이전트의 표현으로 설명했습니다. 과제가 끝난 뒤 설문에서는 결정마다 이렇게 물었습니다. "대안이 아니라 그 선택을 한 이유를 간단히 설명해 주세요. 적극적으로 선택한 것이 아니라면 그렇다고만 답해 주세요." 분석가들은 답하는 동안 에이전트와의 대화 기록을 다시 볼 수 없었습니다. 그런데도 77%가 적어도 한 답변에서 에이전트의 논거를 되풀이했고, 때로는 한 글자도 다르지 않았습니다. 에이전트를 출처로 밝힌 사람은 어디에서든 15%뿐이었습니다.

연구가 무엇에 관한 것 같은지 직접 물었을 때, 48명 중 6명은 AI가 자신의 선택에 미치는 영향에 관한 연구라고 정확히 짐작했습니다. 하지만 AI 자체의 선호가 조작되었다고 의심한 사람은 아무도 없었습니다.

AI 없이 작업한 분석가는 심각한 오류를 더 많이 범했고 시간도 더 오래 걸렸습니다. 에이전트를 쓰지 않기로 한 11명 중 6명(55%)이 결과를 무효로 만드는 심각한 방법론적 오류를 범했습니다. 에이전트를 쓴 50명 중에서는 3명(6%)이었습니다. 오류는 AI 모델 두 개가 찾아냈고, 연구진 중 한 명이 분석가가 어느 집단인지 모른 채 하나하나 확인했습니다. 에이전트 없이 작업한 분석가들은 시간도 더 오래 걸려, 중앙값이 90분으로 나머지의 65분보다 길었습니다.

두 집단은 직접 비교할 수 없으므로, 결과 차이가 AI 사용 여부 때문인지는 확신할 수 없습니다. AI 없이 작업한 분석가들은 평균적으로 경력이 짧았습니다. 석사나 박사 학위 보유자가 적었고(11명 중 4명, 에이전트를 쓴 46명 중에서는 24명), 분석 직무 경력이 2년 이하인 사람이 더 많았으며(11명 중 6명, 에이전트를 쓴 48명 중에서는 15명), 스스로 인과추론에 능숙하거나 전문가 수준이라고 평가한 사람도 적었습니다(11명 중 8명, 에이전트를 쓴 48명 중에서는 43명).

이 연구의 한계

• 에이전트의 성향을 일부러 강화했습니다. 우리는 영향을 측정하기 위해 에이전트가 선호를 일관되게 갖고 말하도록 지시했습니다. 여기서 보고한 수치는 에이전트가 한쪽으로 기울고 그 사실을 말할 때 어떤 일이 벌어지는지를 보여 줍니다. 이것이 실제 업무에 얼마나 적용될지는 전문가 본인의 견해가 얼마나 강한지, 관련 결정이 얼마나 분명히 정의되어 있는지, 모델이 어떻게 행동하는지(선호가 있는지, 먼저 말하는지 포함)에 따라 달라집니다.
• 하나의 과제, 하나의 분야, 하나의 모델만 연구했습니다. 과제는 약 한 시간 분량이었고 농업에 한정되었으며, 에이전트는 Claude Opus 4.8로 실행했습니다. 분석가들은 인과추론 전문가였지만 농업은 처음이었습니다. 실제 업무에서는 해당 분야를 더 잘 알고 자기 견해도 더 강할 가능성이 큽니다. 또 관련자를 인터뷰하거나 이사회와 이야기하는 등 다른 방법으로 합리적인 선택지를 좁힐 수도 있어서, 에이전트의 영향이 줄어들 수 있습니다.
• 추정치는 분석가 전체의 평균입니다. 동전 던지기 결과가 분석가마다 달랐기 때문에, 에이전트가 서로 반대 방향으로 기운 분석가들을 비교하면 그 성향의 평균적인 효과를 알 수 있습니다. 하지만 에이전트가 성향을 말하기 전에 각 참가자의 견해를 기록하지는 않았으므로, 개별 참가자가 얼마나 영향을 받았는지는 말할 수 없습니다.
• 분석가가 어느 선택지를 골랐는지는 기록했지만, 그 선택지를 얼마나 강하게 선호했는지는 기록하지 않았습니다. 에이전트에게 기대는 이유 중 하나는 전문가에게 뚜렷한 자기 의견이 없었기 때문일 수 있습니다. 우리는 분석가의 선택이 바뀌었는지만 측정했을 뿐, 그 선택에 얼마나 확신이 있었는지는 측정하지 않았습니다.

이 결과가 의미하는 것

분석가들이 이처럼 쉽게 에이전트를 따른 이유 중 하나는 전문가가 항상 견해를 완전히 정해 놓고 시작하지는 않기 때문일 수 있습니다. 전문가는 선택지를 저울질하는 과정에서 자기 생각을 정리하거나 심지어 발견하기도 합니다. 이 연구의 에이전트는 오도하지 말라는 지시를 받았고, 선택지에 따라 결과가 어떻게 달라지는지도 대체로 솔직하게 밝혔습니다. 하지만 전문가가 다른 선택지를 선호할 만한 이유를 강하게 주장하는 경우는 드물었습니다. 그런 주장이 있었다면 분석가가 더 충분한 정보를 바탕으로 선택하는 데 도움이 되었을 것입니다. 한쪽 입장만 잘 논증되다 보니, 분석가는 자기 나름의 가정을 세우지 않고 에이전트의 가정을 그대로 받아들일 수 있었습니다.

개별 전문가에게는 자기 작업에 대한 주도권을 잃는다는 뜻일 수 있으며, 연구자들이 무력화(disempowerment)라고 부르는 현상의 한 형태입니다. 결과물은 여전히 전문가의 이름으로 나가지만, 전문가의 판단이 가장 필요한 결정은 실제로는 에이전트의 사전 신념이 정해 버립니다.

그런데 파급 범위는 개인에 그치지 않습니다. 과학과 정책의 상당 부분이 이런 판단에 기대고 있기 때문입니다. 서로 다른 연구팀이 같은 결과에 도달하면 각 팀이 독립적으로 결론을 냈다고 보기에 그 결과를 더 신뢰합니다. 그런데 그 팀들이 모두 같은 선호를 가진 모델에 기대고 있다면, 그 일치는 더 이상 독립적이지 않을 수 있습니다. 겉보기에 합의처럼 보이는 것이 사실은 한 모델의 선호를 반영한 것일 수 있고, 그 선호가 임의적이거나 사람의 의도와 어긋나 있다면 같은 편향이 수많은 결과를 한꺼번에 좌우하게 됩니다.

AI 안전 연구에도 같은 문제가 있습니다. 연구자들은 사람 인력이 감당할 수 있는 양보다 일이 많다는 이유도 있어서 실험을 실행하고 분석하는 데 AI 에이전트를 쓰기 시작했습니다. 사람이 개입한다는 것은 그 사람의 판단이 독립적인 검증 역할을 한다는 전제에 기초합니다. 그러나 이 연구에서 분석가들은 판단이 필요한 결정 대부분을 에이전트의 무작위 선호가 정해 버린 작업물을 승인했습니다. 전체 논문에서는 성향을 지정하지 않은 에이전트의 자체 선호는 더 약하며 때로는 사용자에게 반박하기도 한다는 점도 보여 줍니다.

이런 식의 의존은 알아채기 어렵습니다. AI의 도움을 받은 작업에서 오류를 찾거나 기준 답안과 대조하는 방식은 정답이 있다고 가정합니다. 하지만 판단이 필요한 결정에는 정답이 없어서, 어느 쪽을 택하더라도 작업이 타당해 보일 수 있습니다. 전문가에게 사후에 물어보는 것도 도움이 되지 않을 수 있습니다. 에이전트의 영향을 스스로 알아차리지 못할 수 있기 때문입니다.

그렇다고 AI를 덜 쓰자는 주장은 아닙니다. AI를 잘 활용하면 사람의 주도권을 갉아먹기보다 넓혀 줄 수 있습니다. 앞으로 연구가 필요한 영역을 세 가지 제안합니다.

의존 정도 측정. 이 연구에서는 에이전트가 기울 방향을 무작위로 정했기 때문에 의존 정도를 측정할 수 있었습니다. 실제 업무에서는 이런 방식이 거의 불가능하고, 연구 결과를 보면 사람이 스스로 이를 정확하게 보고하지도 못할 수 있습니다. 일상적인 환경에서 의존을 측정하는 방법이 필요하며, AI 없이 과제를 수행했다면 어떻게 했을지 추정하는 최근 연구가 좋은 출발점입니다. 또한 사람들이 더 충분한 정보를 바탕으로 모델과 소통할 수 있도록, 모델의 기본 선호와 그것을 표현하는 방식을 더 잘 파악해야 합니다.

에이전트 설계 방식 변경. 에이전트가 각 선택지를 옹호하는 가장 좋은 논거를 제시하거나, 자기 의견을 내기 전에 전문가의 견해를 먼저 물을 수 있습니다. 하지만 이러면 사용자에게 금세 부담이 될 수 있습니다. 하나의 분석에도 열린 결정이 많이 있을 수 있고, AI의 가치 중 상당 부분은 사람이 그 하나하나를 일일이 따져 보지 않아도 된다는 데 있기 때문입니다. 에이전트는 가장 중요한 결정만 골라 제기해야 하는데, 무엇이 중요한지 고르는 일 자체가 판단입니다. 모델이 말하는 방식도 영향을 줄 것입니다. 확신에 찬 유창한 말투는 사람을 움직일 수 있기 때문입니다. 자신감이 넘치는 모델은 사람을 정당한 수준 이상으로 기울게 할 수 있지만, 우물쭈물하는 모델은 사용자를 짜증나게 할 뿐입니다.

제도 변화. 제도는 전문가의 승인을 독립적 판단의 증거로 간주하는 경우가 많습니다. AI가 더 많은 일을 할수록 이 가정은 흔들립니다. 조직은 어떤 결정에 사람의 충분한 정보에 기반한 판단이 필요한지 의도적으로 정하고, 그런 판단을 형성할 시간과 자원을 사람들에게 주어야 합니다. 판단은 기술에도 좌우되므로, 이런 결정을 내리지 않게 된 사람은 그 능력을 잃을 수도 있습니다. 모델이 더 유능해질수록 제도에는 사람의 역할과 역량 개발을 확립하기 위한 명시적인 전략이 필요해집니다. 매우 유능한 AI 시스템이 있더라도, 안전이나 회복탄력성을 위해, 또는 그 자체로 가치가 있다고 보아 인간의 역량과 감독을 지키고 싶어 하는 제도도 있을 수 있습니다.

사람과 AI 사이에 정답인 단일한 역할 분담은 없을지도 모릅니다. 넘겨도 되는 결정이 있고, 직접 쥐고 있을 만한 결정도 있을 것입니다. 적절한 도구가 있다면 이 구분은 어느새 흘러가 버린 결과가 아니라 우리가 직접 선택한 결과가 될 수 있습니다.