AI 에이전트 측정 방식, 우리가 잘못 짚고 있는 것 같다

여기저기 AI가 싸지른 쓰레기(slop) 포스트들이 넘쳐나네. 숨기려는 노력조차 안 함.

이건 마치 엔진이 돌아가는지만 보여주고 제대로 된 방향으로 가고 있는지는 절대 안 보여주는 자동차 대시보드를 만드는 거랑 같음. 지연 시간, 에러율, 가용성: 이런 지표들은 "인프라가 건강한가?"에 답할 뿐, "에이전트가 실제로 문제를 해결했는가?"에는 답하지 못함. 에이전트가 20번 루프를 돌고, 자신 있게 엉뚱한 항공편을 예약하고, 끝나지도 않은 일을 완료로 표시해도 모든 백엔드 시스템은 200을 반환함. 실패는 스택에 있는 게 아니라 목적 함수(objective function)에 있는 거임.

당신이 설명하는 건...

인간 개입률(human intervention rate)이 놀라울 정도로 유용했음. 인프라는 건강해 보이는데 에이전트가 조용히 추가 업무를 만들어내고 있을 때, 보통 그게 뭔가 근본적인 문제가 있다는 신호임.

아무도 에이전트를 웹 서비스처럼 측정 안 함, 그건 멍청한 짓이지. 옵저버빌리티 솔루션은 널리고 널렸으니까 구글 검색이나 해보셈.

나한테는 '인간 개입률(Human intervention rate)'이 가장 정직한 지표였음. 에이전트가 툴 호출 통계는 완벽해도, 5번 중 한 번꼴로 'OTP 입력해라', '캡차 풀어라', '내가 진짜로 작업 완료했는지 확인해라' 같은 소리 하면 그냥 쓸모없는 거니까.

'검증된 완료율(verified completion rate)'도 추적하는 걸 추천함. 에이전트가 끝냈다고 말하는 게 중요한 게 아니라, 외부 체크를 통해 의도한 상태가 실제로 존재하는지 확인하는 거임. 이거면 자신감 넘치는 헛소리들을 꽤 많이 잡아낼 수 있음.