AI 에이전트의 메멘토 문제

TL;DR: 에이전트 실패의 상당수는 모델 자체의 문제가 아님. 에이전트는 파편화되고 낡았으며 불완전한 작업 공간 데이터를 기반으로 행동하라는 요구를 받기 때문에, 결국 추측하거나 멈추거나 인간에게 일을 다시 떠넘기게 됨.

내가 가장 좋아하는 영화는 메멘토임.

이 영화는 전향성 기억상실증을 앓아 새로운 기억을 형성하지 못하는 레너드라는 남자를 중심으로 돌아감. 영화 내내 그는 사진, 메모, 문신, 지시 사항에 의존해 과거에 무슨 일이 있었는지, 지금 무엇이 중요한지, 다음에 무엇을 해야 하는지 이해함.

레너드가 행동할 때마다 그는 과거의 자신이 남긴 것들로부터 상황을 재구성함. 그가 만든 메모는 그 자신이 스스로 유지할 수 없는 기억의 역할을 함. 그것들이 바로 그가 현재의 순간을 과거에 일어난 일과 연결하는 방식임.

나는 AI 에이전트에 대해 점점 그렇게 생각하게 됨.

에이전트는 글쓰기, 추론, 요약, 검색, 도구 사용, 이메일 초안 작성, 데이터 분석, 워크플로우 단계 실행이 가능함. 하지만 그 모든 행동은 그 행동을 둘러싼 맥락에 의존함.

지금 무엇이 사실인가? 무엇이 바뀌었나? 어떤 소스를 신뢰해야 하는가? 무엇을 할 수 있는가?

그 맥락이 신뢰할 수 있다면 에이전트는 유용할 수 있음.

만약 그 맥락이 누락되었거나, 파편화되었거나, 낡았거나, 에이전트가 접근할 수 없는 곳에 갇혀 있다면 에이전트는 파편화된 정보만으로 행동할 수밖에 없음.

그리고 파편화된 정보로 행동하는 것이 바로 문제가 발생하는 지점임.

맥락이 파편화되어 있음.

평범한 업무 순간을 예로 들어보겠음: 고객 전화가 곧 올 예정이고, 누군가 회의 전에 계정 맥락을 준비해야 함.

에이전트는 기본적인 정보가 필요함: 고객이 무엇을 중요하게 생각하는지, 지난번에 무슨 일이 있었는지, 무엇을 약속했는지, 내부적으로 무엇이 바뀌었는지, 다음에 무엇을 해야 하는지.

대부분의 팀은 이미 어딘가에 그 정보를 가지고 있음.

문제는 그 '어딘가'라는 말이 너무 광범위하다는 것임. CRM, 슬랙 스레드, 문서, 회의 녹취록, 프로젝트 보드, 이메일 체인, 이전 AI 채팅, 혹은 누군가의 기억 속에 있을 수 있음.

인간은 종종 그런 상황에서도 살아남음. 우리는 누구에게 물어봐야 할지 알고, 뉘앙스를 기억하며, 작업 제목이 구식이라는 것을 감지할 수 있음. 행간을 읽을 수도 있음.

에이전트에게는 그런 사회적 지도가 없음. 맥락이 작업 공간에 의해 전달되지 않으면 에이전트는 추측하거나, 멈추거나, 일을 인간에게 다시 떠넘김.

에이전트는 무엇이 여전히 사실인지 검증해야 함.

그래서 에이전트가 일을 처리해야 할 때마다 먼저 더 기본적인 질문에 답해야 함:

어떤 사실을 여전히 신뢰할 수 있는가?

마지막 고객 불만이 해결되었나, 아니면 접수만 되었나? 제품 팀이 실제로 수정 사항을 배포했나, 아니면 논의만 했나? 작업 보드가 최신인가, 아니면 통화 중에 계획이 바뀌었나? 최신 가격 정보가 CRM에 있나, 이메일 스레드에 있나, 아니면 어제 누군가 보낸 자료에 있나?

인간은 보통 이를 의식하지 않고 해결함. 우리는 기억, 본능, 비공식적인 맥락을 사용하여 무엇을 신뢰할지 결정함.

에이전트에게는 그 판단이 시스템에서 나와야 함.

의제를 작성하거나, 대화 주제를 제안하거나, 후속 조치를 작성하기 전에 에이전트는 자신이 어떤 버전의 현실을 기반으로 작업하고 있는지 알아야 함.

만약 에이전트가 당신에게 최신 맥락을 붙여넣으라고 요청해야 한다면, 그것은 진정으로 작업 공간에서 일하고 있는 것이 아님.

현재의 작업 공간은 여전히 인간에게 일을 다시 떠넘김.

이것이 바로 오래된 작업 공간에 에이전트를 추가하는 것만으로는 충분하지 않은 이유임.

인간을 위해 만들어진 작업 공간은 불완전해도 괜찮음. 왜냐하면 인간이 누락된 맥락을 스스로 보완하기 때문임. 하지만 에이전트를 위해 만들어진 작업 공간은 그럴 수 없음.

이 불완전함이 에이전트의 실패 지점이며, 결국 미완성된 작업으로 이어짐.