Interesting Anthropic Study
AI 에이전트의 판단에 인간이 개입하는 과정에서 발생하는 인지적 편향과 책임의 한계에 대한 논의입니다.
난 사람이 중간에 끼어 있어야 한다는 걸 굳게 믿는다. 이거 진짜 훌륭한 연구고 충분히 논의해 볼 가치가 있음.
이게 좀 걱정되긴 하는데, 그래도 좋다고 생각하는 이유는 우리가 정보를 어떻게 받아들여야 도움이 되고 또 해가 안 될지 방법을 찾아내야 하기 때문임.
대부분의 사용자는 AI의 답변을 무비판적으로 수용하는 위험성에 공감하며, 이를 방지하기 위해 AI의 추론 과정을 투명하게 공개하고 인간의 비판적 사고를 유지할 수 있는 설계가 필요하다고 입을 모으고 있습니다.
이건 확실히 AI의 위험 요소입니다. 저는 매일 과학 연구(박사 학위, 20년 이상의 경력)에 Claude와 GPT를 사용합니다. 현재 AI의 답변은 대체로 맞기 때문에 오류를 찾으려면 정말 열심히 들여다봐야 합니다. 그런데 예전처럼 깊이 있게 문제를 고민하지 않게 되면서 오류를 찾는 게 더 어려워졌죠.
그리고 AI가 틀렸을 때도 여전히 아주 그럴듯한 정당성을 제시합니다. 결론에 도달하기까지의 모든 단계를 다시 확인하지 않으면 오류를 놓치고, 그럴듯하게 들린다는 이유로 결론을 받아들일 수 있습니다. 모두가 AI를 사용하면서 데이터셋은 그 어느 때보다 방대하고 복잡해지고 빠르게 쏟아져 나오고 있기 때문에, 이는 심각한 문제가 되고 있습니다.
"기관의 변화. 기관들은 종종 전문가의 승인을 독립적인 판단의 증거로 취급합니다. AI가 더 많은 업무를 수행함에 따라 그러한 가정은 흔들리고 있습니다. 조직은 어떤 결정에 인간의 정보에 입각한 판단이 필요한지 신중하게 결정해야 하며, 사람들이 그러한 판단을 내릴 시간과 자원을 제공해야 합니다. 판단은 기술에 의존하며, 이러한 결정을 내리는 것을 멈춘 사람들은 결정을 내리는 능력을 잃을 수 있습니다. 모델이 더 유능해짐에 따라 기관들은 인간의 역할과 그들의 기술 개발을 확립하기 위한 명시적인 전략이 필요할 것입니다. 매우 유능한 AI 시스템을 갖추더라도, 기관들은 안전이나 회복탄력성을 위해서, 혹은 그 자체로 가치가 있기 때문에 인간의 기술과 감독을 보호하고 싶어 할 것입니다."
대부분의 기업이 걷기에는 매우 아슬아슬한 줄타기가 될 겁니다.
인사팀 + CEO: "하지만... 하지만... 우리는 인력을 감축하고 그들을 AI로 완전히 대체하고 싶단 말이야. CEO가 결정을 내리고, COO-페이블-봇이 조율하고, VP-오퍼스봇이 지휘하는 거지!!!"
Anthropic이 이 문제를 연구해서 기쁘네요.
제 생각에 현실 세계에서는 이 문제가 훨씬 더 심각할 것 같습니다. 이 연구에 참여한 분석가들은 연구를 위해 모집된 사람들이죠. 실제 직장에서는 마감 기한의 압박, 스트레스, 성과를 내야 한다는 욕구가 이 문제를 악화시킬 겁니다.
우리는 에이전트의 작업을 이중으로 확인하는 데 얼마나 많은 노력이 필요한지 일상적으로 과소평가합니다. 기업들은 학습 시간이나 회복 시간을 예산에 반영하지 않죠. 그저 AI를 새로운 생산성 도구로 취급할 뿐이고, 그 결과 직원들에게 추가적인 비판적 사고 업무를 떠맡기면서 사람들을 불태워 버립니다. 만약 중간의 '지루하고', '따분한' 업무를 제거해 버리면, 그들의 회복 시간까지 없애는 셈입니다. 무언가는 포기해야 하고, 사람들이 대충 확인하고 그럴듯한 답변에 도장을 찍어버리는 결과가 나오는 거죠.
수십 년 동안 노동자들이 생산성 향상에 대한 대가로 시간을 돌려받지 못했다는 사실이 좌절스럽습니다. 사람들은 수십 년에 걸쳐 서서히 불타버리고 있어요. AI 도입 이전에도 그랬죠. AI가 많은 부분에서 놀라운 도구라고 생각하지만, 그것을 도입하는 사람들은 이런 상황이 계속되면 어떻게 자신의 인력을 파괴하게 될지 고민해야 합니다.
정말 흥미롭네요. 이건 '기본값의 힘'과도 연결됩니다. 대기업들이 기본 설정을 끄는 옵션을 추가해 놓고 마치 그것을 활성화할지 말지가 사람들의 선택인 것처럼 행동하는 것과 비슷하죠. 대부분의 사람은 질문을 받더라도 제안된 기본값을 따를 겁니다. 이건 성격적 결함이 아니라 인간의 행동 양식입니다. 전문가들조차 의문을 제기하기보다 눈앞에 보이는 것에 동의하는 것을 선호한다는 걸 보여주죠. 인간 집단과 사회 구조도 다를 바 없다고 생각합니다. 기껏해야 더 다양한 의견을 제공할 뿐이죠.
AI가 이미 현실 세계의 의사결정에 상당한 수준으로 영향을 미치고 있다고 생각하는 건 꽤 합리적입니다. 소셜 미디어 피드와 비슷하죠. 흥미롭게도 저는 현재의 거대 AI 모델들이 소셜 미디어보다 표현된 의견과 지침 뒤에 더 높은 윤리적 기준을 가지고 있다고 생각하기 때문에 그 점은 좀 더 괜찮다고 봅니다. 소셜 미디어는 몇몇 악하거나 이기적인 운영자들에 의해 더 쉽게 조종될 수 있으니까요. 물론 이게 얼마나 갈지는 모르겠지만요. 더 많은 선거가 제정신인 정당 쪽으로 흘러가길 바랄 뿐입니다.
이건 에이전트의 결정에 인간을 끼워 넣는 문제가 아니라, 인간의 결정에 에이전트를 끼워 넣는 문제에 관한 겁니다. 좋은 결정을 내리고 싶다면 중간에 에이전트를 두는 게 중요하다는 점에는 동의합니다.
논의의 핵심은 에이전트로부터 나온 데이터가 어떻게 제시되느냐 하는 겁니다. 그게 위험한 거죠. 그래서 제대로 사용해야 합니다.
이 내용을 읽으면서 우리가 이런 도구들을 제대로 설계해야 한다는 걸 깨달았습니다. 이런 종류의 연구를 보니 에이전트의 결과물이 여러 관점과 그 이면의 이유를 제시하는 것이 중요하다는 걸 알겠네요. 우리가 기대할 수 있는 건 그 정도가 전부입니다. 물론 문제는 에이전트가 각 관점을 제시하는 방식에 따라 여전히 인간을 완전히 조종할 수 있다는 점이죠.
반면에 많은 사람이 연구를 위해 구글을 사용하고 있는데, 이미 우리가 그런 조종의 세계에 살고 있다고 주장할 수도 있겠네요.
좋은 연구네요. 제 경험상 인간의 검토 단계는 에이전트의 추론 과정만큼만 효과적입니다. 에이전트가 실행 전에 왜(WHY) 그런 결정을 내렸는지 정당화해야 한다면(ReAct 방식), 검토는 맹목적인 승인이 아니라 빠르고 의미 있는 과정이 될 수 있습니다.
네, 저도 비슷한 후속 댓글을 남겼습니다. 이런 연구를 통해 배우면서 우리가 이 도구들을 어떻게 제대로 사용해야 할지 알아내야 한다는 점이 중요하다고 생각합니다.
이런 종류의 AI는 개발된 지는 꽤 됐지만 여전히 초기 단계에 머물러 있음. 하지만 최근 들어 상황이 엄청나게 바뀌었고, 솔직히 앞으로 몇 년 뒤에 무슨 일이 벌어질지 아무도 모름.
우리는 과거에는 상상도 못 했던 문제들을 해결할 새로운 것들을 분명히 보게 될 거임. 세상은 엄청나게 변할 거다.
최근 Claude Code의 사용량 제한이 비정상적으로 빠르게 소진된다는 사용자들의 불만이 잇따르고 있습니다.
최근 Claude Code의 사용량 제한이 비정상적으로 빠르게 소진된다는 사용자들의 불만이 잇따르고 있습니다.
AI 거품 붕괴와 데이터 센터 수요 감소로 내년에 GPU 가격이 폭락할 것이라는 전망에 대한 커뮤니티의 반응입니다.
AI 거품 붕괴와 데이터 센터 수요 감소로 내년에 GPU 가격이 폭락할 것이라는 전망에 대한 커뮤니티의 반응입니다.
사용자의 질문에 대해 Claude가 매우 공격적이고 솔직한 답변을 내놓아 화제가 된 포스트입니다.
사용자의 질문에 대해 Claude가 매우 공격적이고 솔직한 답변을 내놓아 화제가 된 포스트입니다.