HR/IT 에이전트를 도입하기 전에 실제로 어떤 테스트를 해봐야 할까?
what would you actually make an HR/IT agent DO before paying for one?
핵심 요약
단순 데모가 아닌, 실제 업무 환경에서의 오류 처리와 복구 능력을 검증하는 '고문 테스트' 항목들을 논의합니다.
- 실제 업무 검증 — 단순 답변이 아닌 Workday/ServiceNow 연동 및 실제 작업 수행 능력 확인
- 오류 처리 테스트 — API 실패 시 재시도 로직, 중복 방지, 상태 복구 능력 검증
- 인간 개입 설계 — 민감한 상황 발생 시 에이전트가 스스로 멈추고 사람에게 보고하는지 확인
- 감사 추적 가능성 — 실패 시 사람이 로그를 보고 즉시 수동으로 마무리할 수 있는지 확인
진지하게 묻는 건데, AI가 질문 하나 제대로 대답했다고 다들 다 끝난 것처럼 호들갑 떠는 AI 데모들 이제 진짜 지긋지긋하다.
HR이나 IT 에이전트에 돈 쓰기 전에, 최소한 아래 기능들은 확실히 되는지 증명부터 해야 함.
-
"금요일 휴가 쓸래" → Workday에 제대로 휴가 신청까지 완료하기
-
IT 문제 해결 → 문제를 직접 고치거나 ServiceNow 티켓을 제대로 생성/업데이트하기
-
지루한 HR + IT 절차를 거쳐서 신규 입사자 온보딩 처리하기
-
사람 붙잡고 5개 시스템 뒤지게 하지 말고, 승인된 오프보딩 프로세스 알아서 돌리기
-
민감하거나 이상한 상황 발생 → 멍청한 짓 자신 있게 저지르지 말고, 일단 멈추고 사람한테 물어보기
Ema AI가 이런 테스트 기준으로 내가 눈여겨보고 있는 제품 중 하나인데, Workday/ServiceNow 연동이랑 사람 승인 절차 들어간 건 확실히 쓸만해 보이긴 함.
근데 솔직히 말해서, 성공하는 데모는 이제 그만 보고 싶다.
3번 과정 중간에 일부러 실패하게 만들어 봐.
재시도하는 거, 중복 방지, 에스컬레이션, 로그 기록 다 보여줘. 직원이 뭘 보는지, IT 담당자가 뭘 보는지, 누가 뒷수습해야 하는지도 다 까발려야지.
너라면 HR/IT 에이전트를 실제 운영 환경에 투입하기 전에 어떤 '고문 테스트'를 해볼 거냐?
