대부분의 AI 에이전트 실패는 모델 문제가 아니라 조직 설계의 실패다

최근 프로덕션 환경에서 많은 'AI 에이전트'가 왜 실패하는지에 대한 이곳의 논의를 지켜봐 왔고, 자동화 우선 접근 방식에 동의함. 소위 에이전트라고 불리는 것들 중 상당수는 사실 LLM 호출 한두 번이 포함된 워크플로우에 불과함.

하지만 종종 간과되는 또 다른 측면이 있다고 생각함. 바로 조직 설계임.

회사에서 에이전트가 실패하는 이유는 단순히 환각을 일으키거나 잘못된 도구를 선택해서가 아님. 다음과 같은 사항이 명확하게 정의되지 않았기 때문이기도 함:

• 누가 업무를 소유하는가
• 누가 결과물에 책임을 지는가
• 에이전트가 무엇을 결정할 수 있는가
• 언제 인간이 결과를 검토해야 하는가
• 언제 워크플로우가 감독 없이 실행될 만큼 안정적인가

내 현재 관점은 다음 세 가지를 구분해야 한다는 것임:

1. AI 어시스턴트
AI 어시스턴트는 인간의 역할에 속함. 인간 직원이 업무의 일부를 작성, 분석, 검색, 요약 또는 실행하도록 도움. 책임은 여전히 인간이 가짐.

2. 자동화
자동화는 명확한 단계, 규칙, 입력, 출력 및 예외 사항이 있는 경계가 정해진 워크플로우임. LLM 호출이 포함될 수 있지만, 업무를 '소유'하지는 않음.

3. AI 직원
AI 직원은 '단일 자율 에이전트'를 의미해서는 안 됨. 역할 수준의 시스템, 즉 작업 에이전트, 도구, 메모리, 권한, 모니터링 및 관리자/스케줄러 에이전트의 그룹을 의미해야 함. 이는 명확하게 설계된 업무 시스템 내에서 안정적인 작업 범주를 소유함.

이는 실질적인 경로를 제시함:

업무는 먼저 AI 어시스턴트를 사용하는 인간 직원이 처리해야 함.
업무가 안정적이고 반복 가능해지면 자동화가 될 수 있음.
자동화가 지속적인 인간의 감독 없이도 충분히 잘 수행된다면, 인간 관리자나 워크스테이션 소유자의 감독 하에 AI 직원 역할로 전환될 수 있음.

따라서 진짜 질문은 "에이전트를 구축해야 하는가?"가 아님.
더 나은 질문은 이것임:

어떤 업무가 인간 소유의 AI 어시스턴트에서 시스템 소유의 AI 실행으로 넘어갈 만큼 성숙했는가?

다른 사람들의 생각이 궁금함. 실제 회사에서 에이전트를 구축하거나 배포하는 사람들은 에이전트를 구축하기 전에 업무 소유권과 책임 경계를 정의하는지, 아니면 실패 후에 그런 것들이 나타나는지 궁금함.