전문가들도 AI 에이전트의 무작위 의견을 자신의 생각으로 착각한다는 Anthropic의 연구 결과

🤣

이 댓글 읽다가 내가 너인지, 네가 나인지, 아니면 걔가 나인지, 내가 걔인지, 걔가 너인지, 네가 걔인지 헷갈리기 시작했음

프로젝트 하나를 만들고 있었는데, 특정 부분에 대해 아이디어 5개가 있었거든. 그래서 AI한테 같은 분야로 아이디어 10개만 더 달라고 했지. 그 15개 중에서 하나를 골라서 진행했는데, 몇 주 지나니까 내가 그 아이디어를 낸 거라고 80% 확신하게 되더라. 나중에 AI한테 채팅 기록 검토해달라고 하니까 그 아이디어 낸 게 AI였다는 게 밝혀짐.

인간은 여전히 똑똑해 보이고 싶어 하고, '혼자서' 열심히 작업한 결과물에 대해 100% 자기 공로를 인정받고 싶어 하는 것 같음.

근데 동시에, 내가 전통적인 검색 엔진을 쓴다고 쳐보자. 내가 어떤 거에 대해 아이디어 5개를 생각해냈는데, 검색해보니까 전문가 블로그에서 5개를 더 찾았어. 그래서 그냥 전문가 아이디어 하나를 골랐다고 치자. 이게 뭐가 다른 거지?

과학 분야에서 AI를 활용하는 데 있어 정말 흥미로운 도전 과제를 다룬, 진심으로 흥미로운 기사네.

가장 인상 깊었던 건 영향력이 실제로 어디로 향했냐는 거야. 에이전트의 선택이 최종 권고안을 직접적으로 바꾼 건 거의 없었지만, 그 앞 단계의 분석 선택 4가지를 62에서 82포인트나 흔들어놨거든. 그리고 그 선택들이 결국 권고안의 근거가 되는 추정치를 결정한 거지. 그러니까 사람들은 마지막엔 자기가 통제하고 있다고 느꼈지만, 사실 조종은 훨씬 앞 단계에서 일어난 거야. 이건 코딩 에이전트랑 일할 때랑 똑같아. 최종 diff는 꼼꼼히 검토하지만, 정작 중요한 결정들(어떤 접근 방식을 쓸지, 뭘 건너뛸지)은 에이전트가 'X로 하는 게 좋겠어요'라고 말하는 순간 계획 단계에서 이미 정해져 버리거든. 자기 주관이 뚜렷해도 별 소용이 없었어. 반대 의견을 내는 에이전트가 있으면 사람들이 의견을 바꿀 확률이 53포인트나 높아졌으니까. 50명 대상의 연구 하나뿐이긴 하지만, 제시된 해결책은 간단해. 에이전트가 선호하는 방식을 말하기 전에 양쪽 옵션을 모두 제시하게 만드는 거지. 혹시 CLAUDE.md에 이걸 기본 규칙으로 설정해 본 사람 있어? 그리고 이거 금방 귀찮아지나?