AI 에이전트 파일럿은 환상적인데 왜 실제 운영 환경에선 엉망이 될까

수동적 감시자 문제는 보통 인간의 소유권 지점이 모든 흥미로운 결정 이후에 위치한다는 걸 의미해. 운영 팀이 결과물만 지켜보고 있는 이유는 아키텍처가 컨텍스트 추출, 라우팅 로직, 에스컬레이션 임계값 설정 등 더 앞선 단계에서 그들이 소유할 만한 실질적인 권한을 주지 않기 때문이야. 인간이 결과물을 사후 검토하는 대신 의사결정 지점을 사전에 정의하도록 구조를 뒤집어 봐. 그걸 지원하도록 소프트웨어를 재설계하는 게 더 어렵긴 하지만, 이미 발생한 결과물을 감독하는 건...

우리도 정확히 이 문제를 겪었어. 에이전트가 돌아가고 운영 팀은 '에이전트 구경꾼'이 되어버렸지. 도움이 됐던 건 에이전트가 답을 알더라도 중간에 멈추고 질문하게 만드는 의도적인 지점을 만드는 거였어. 인간이 수동적으로 변하지 않고 계속 루프 안에 머물도록 강제하는 거지.

나도 맨날 겪던 문제고 그때마다 진짜 공포스러웠음. 해결책이 좀 멍청하거나 너무 단순해 보일 수도 있는데, 난 항상 사용자 경험을 최우선으로 설계함. 여기서 사용자는 코딩은커녕 기술 잘 모르는 사람을 기준으로 잡음.

결과물에 책임지는 사람이 없으면 수동적으로 지켜보는 게 합리적인 거지. 역할 재설계 문제는 사실 책임 소재의 문제임. Ops 팀 관점에서 쓴 글 참고해: [링크]

워크플로우에 Human-in-the-loop 방식의 검증 큐를 추가해야 할 듯. 예외 상황 발생하면 큐에 넣고, 관리자가 확인해서 수정 후 다시 워크플로우로 보내거나 직접 처리하는 식으로.

AI가 반복 업무에서 해방시켜주긴 하지만, 사람들이 자동으로 더 깊은 사고를 하게 되는 건 아님. 우리 회사도 벌써 확실히 갈라짐. 한쪽은 '머신 빌더' 그룹인데, 툴 만들고 워크플로우 설계하고 Harness 다듬는 애들임. 얘네는 업무량 안 줄고 오히려 늘었음. 기존 업무 위에 새로운 패러다임을 만들고 있으니까. 다른 쪽은 '머신 유저' 그룹인데, AI가 초안 작성, 리서치, 코드 짜주는 거 덕분에 효율성 꿀 빠는 중임.