r/AI_Agents•3개월 전•3•18
AI 에이전트가 진정으로 유용해지지 못하는 이유는 무엇일까?
What’s stopping AI agents from becoming genuinely useful?
핵심 요약
AI 에이전트의 능력은 급격히 발전하고 있지만, 보안과 신뢰 문제로 인해 여전히 인간의 감독이 필수적인 상황에 대한 논의입니다.
- 신뢰와 보안 — 에이전트에게 비밀번호나 결제 정보를 맡기는 것에 대한 불안감 존재
- 아키텍처 개선 — 모델이 직접 정보를 다루지 않고 별도의 결정론적 계층이 권한을 관리해야 함
- 인간의 감독 — 에이전트의 작업을 검토하고 승인하는 'Human-in-the-loop' 인터페이스의 필요성
- 신뢰 구축 단계 — 처음부터 큰 작업을 맡기기보다 작고 되돌릴 수 있는 작업부터 신뢰를 쌓아야 함
최근 이 문제에 대해 많이 생각 중임.
AI 에이전트의 능력은 엄청나게 빨리 발전하고 있음. 몇 달마다 브라우징, 조사, 쇼핑, 양식 작성, 예약, 다단계 작업 수행 능력이 좋아짐.
하지만 이런 발전에도 불구하고, 에이전트가 자율적으로 작동하게 두는 사람은 별로 없음.
개인적으로 가장 큰 문제는 더 이상 능력이 아니라 신뢰 부족, 더 구체적으로는 그 결과에 대한 두려움임.
예를 들어, 에이전트가 웹사이트를 탐색하고 내 계정 중 하나에 로그인하는 방법은 맡길 수 있음. 하지만 비밀번호를 무기한 컨텍스트 윈도우에 두는 건 불안함. 신용카드 정보는 더더욱 그렇고. LLM이 환각을 일으키거나 실수해서 정보를 엉뚱한 곳으로 유출할까 봐 겁남.
그래서 결국 내가 옆에서 지켜보게 됨.
로그인 화면에 도달할 때까지 기다렸다가, 내가 직접 자격 증명을 입력하고 다시 제어권을 넘겨줌.
다른 사람들도 그렇게 느끼는지 궁금함.
아직 에이전트를 완전히 신뢰하지 않는다면, 실제 걸림돌은 무엇인가?
개인정보?
보안?
비싼 실수를 할까 봐?
가시성 부족?
제어력 부족?
현재의 신뢰성?
아니면 다른 것?
만약 앞으로 몇 년 안에 에이전트가 훨씬 더 유능해진다면, 에이전트가 스스로 대부분의 작업을 처리하게 하려면 무엇이 바뀌어야 할까?
