Anthropic의 자체 데이터가 시사하는 바: 우리는 AI 에이전트의 중간 관리자가 되어가고 있다

난 실무형 아키텍트이자 팀장이자 관리자야. 동료들에게 업무를 위임하는 것보다 AI에게 시키는 게 훨씬 편하더라고. 솔직히 내 팀 전체를 AI로 대체할 수 있을 것 같아.

무서운 건 내 상사도 나에 대해 똑같이 생각하고 있을 거라는 점이지. lol.

난 테크 리드였던 대기업을 떠나서 에이전트 팀을 거느린 1인 개발자가 됐어. 사람들과 일하는 것보다 훨씬 나아. 다른 사람들 때문에 발목 잡히지 않고 드디어 일을 끝낼 수 있게 됐거든.

마지막 통계가 머릿속에서 떠나질 않네. 모든 결과물을 읽을 수조차 없다면, 그건 검토가 아니라 그냥 나쁜 일이 일어나지 않길 바라는 것뿐이지.

난 도구 유형과 위험 수준에 따라 결과물을 샘플링하기 시작했어. 데이터를 읽기만 하는 작업은 20번 중 1번꼴로 확인해. 하지만 외부로 무언가를 쓰거나 보내는 작업은 여전히 전부 다 읽어. 그래도 작업량이 너무 터무니없어지고 있어서, 내가 직접 실무를 하기보다는 에이전트가 한 일을 분류하는 데만 시간을 다 쓰는 느낌이야.

네가 나열한 세 가지 옵션은 모두 같은 문제를 공유하고 있어. 어느 것도 변하지 않는다는 거지. 10%를 영원히 샘플링하거나, 영원히 전부 읽거나. 에이전트가 아무리 좋아져도 검토 부하는 고정되어 있어.

나한테 더 효과적이었던 건 게이트가 스스로를 측정하게 만드는 거야. 작업이 승인 단계에 도달하면, 에이전트는 자기가 '결정했을 내용'을 기록해. 실행은 안 하고 호출만 기록하는 거지. 그러고 나서 인간이 실제로 한 행동과 비교하는 거야.

그걸 수백 번 반복하면 전체가 아니라 도구별, 작업별로 합의율을 확인할 수 있어. 내 경우엔 한 작업 유형에선 98%였는데 다른 건 전혀 아니었거든. 단일 글로벌 게이트는 둘 다 똑같이 취급하고 있었고, 그게 대기열이 무의미하게 느껴진 이유였어.

그러면 한계점은 소진이 아니라 증거에 따라 움직이게 돼. 합의율이 임계값 이상으로 유지되고 심각한 실수가 없으면 게이트는 한 단계 느슨해져. 떨어지면 다시 조여지고. 숫자를 보기 전에 규칙부터 정해둬, 안 그러면 나중에 합리화하게 될 테니까.

인간을 제거하진 못해. 하지만 에이전트가 능력을 입증함에 따라 검토 부하가 줄어든다는 뜻이지, 영원히 그대로 유지되는 게 아니라. 지금은 에이전트가 승진할 수 있는 경로가 전혀 없는데, 그게 바로 이 상황을 확장 불가능하게 만드는 진짜 이유야.

에이전트와 일하는 사람이라면 누구나 자기가 2년 차 졸업생을 관리하는 관리자의 업무를 수행하고 있다는 걸 깨닫게 될 거야. 명령을 내리고, 그들이 수행하면, 확인하고, 더 많은 일을 시키지. 그냥 더 빠르고, 더 많은 에이전트로 확장하기 쉽지만, 로그를 확인하고 있으면 압도당하게 돼. 우리는 조만간 스스로의 존재 목적을 운영 효율화로 없애버리게 될 거야.