왜 대부분의 AI 에이전트는 여전히 장난감처럼 느껴질까?

AI는 아직 실험 단계고, 쓸만한 도구들은 나온 지 3~6개월밖에 안 됐으니까.

이건 아무도 인정하고 싶어 하지 않는 사실인데, 대부분의 에이전트 프레임워크는 프로덕션 환경에서 실제로 문제가 터지는 지점이 아니라 데모에 최적화되어 있어. 메모리 일관성이나 롤백 같은 건 멋져 보이진 않지만, '그럴싸한 개념 증명'과 '실제 배포 가능한 서비스'를 가르는 핵심 요소거든. 특히 평가(evals) 부재가 나를 미치게 만드는데, 팀들이 에이전트를 만들면서 프로덕션에 올라가기 전까지는 실패 모드를 전혀 파악하지 못하니까.

6개월 정도 프로덕션에서 에이전트 돌려본 입장에서 솔직히 말하면 observability랑 rollback이 진짜 사람 잡음. 에이전트가 3시간 동안 조용히 뻘짓하고 있는데도 눈치 못 채는 상황에 대비해서 만드는 놈이 하나도 없음.

장난감처럼 느껴지는 이유는 대부분의 에이전트 데모가 신뢰성보다는 자율성에 최적화되어 있기 때문이라고 봐. 프로덕션 환경에서 진짜 어려운 건 지루한 것들이거든. 상태 관리, 평가, 권한, 감사 로그, 롤백, 장애 복구, 사람의 승인, 기존 워크플로우와의 통합 같은 거 말이야. '뭐든지 할 수 있는' 화려한 에이전트보다, 하나의 워크플로우를 확실하게 처리하고 작업 과정을 보여주며 안전하게 실패하는 좁은 범위의 에이전트가 훨씬 유용해. 그래서 지금 부족한 건 툴 호출을 늘리는 게 아니라, 제어와 관측 가능성이라고 생각해.

'데모 인프라와 프로덕션 인프라'를 구분하는 의견에 동의해. 내가 덧붙이자면 프로덕션 에이전트 주변에는 지루한 아티팩트들이 필요해. 상태 차이, 툴 호출 영수증, 액션 클래스, 실행 소유권, 롤백 지점, 그리고 실제 실패 사례에서 생성된 평가 데이터 같은 것들 말이야. 많은 프레임워크가 해피 패스만 마법처럼 보이게 만들지만, 진짜 어려운 문제는 화요일에 실행이 절반만 성공했을 때 누군가 그걸 디버깅하거나 재개해야 하는 상황이 오면 어떻게 하느냐는 거지. 그래서 에이전트 운영이 결국...