2026년에도 AI 에이전트로 안정적으로 수행하기 어려운 작업은 무엇인가요?

이제 가장 큰 한계는 추론 능력이 아니라 판단력임. 에이전트들은 계획을 실행하는 건 놀라울 정도로 잘함. 근데 그 계획 자체가 틀렸다는 걸 깨닫는 건 훨씬 못함. 잘못된 목표를 자신 있게 최적화하고, 멈춰야 할 때 계속 파고들고, 도구를 써야 해서가 아니라 '쓸 수 있으니까' 사용함. 그리고 주어진 가정에 대해 거의 의문을 갖지 않음. 그래서 데모에서는 엄청나게 좋아 보이지만, 실제 현장의 오픈 엔드 워크플로우에서는 금방 무너지는 거임.

목적에 맞게 설계된 에이전트가 모든 것에 접근 권한이 있는 에이전트 하나보다 추론하기 훨씬 쉬움.

ㅇㅇ 나도 엄청 많이 겪음. 내 워크플로우에서도 아직 해결하려고 노력 중임. 맨날 똑같은 대답만 함... "왜 그 중요한 테스트 건너뛰었어?" "어쩌구 저쩌구... 제 불찰입니다..."

SVG 그래픽

저한테는 브라우저 자동화가 여전히 가장 큰 골칫거리입니다. 제 사업을 위해 작은 에이전트 설정(주로 Claude + browser-use)을 돌리고 있는데, 실제 웹사이트를 건드리는 건 뭐든 계속 깨집니다. 추론 문제가 아니라 실행 문제예요. 쿠키 배너, 레이아웃 변경, 200ms 늦게 로딩되는 버튼 같은 것들 때문에 에이전트가 멈추거나, 더 나쁜 경우엔 하지도 않은 작업을 성공했다고 자신 있게 보고합니다.

거짓 성공 보고가 사실 제일 무서워요. 꽤 도움이 됐던 우회 방법은 모든 쓰기 작업마다 별도의 검증 단계를...

툴 핸드오프랑 언제 멈춰야 할지 판단하는 게 여전히 불안정하게 느껴짐. 단일 에이전트는 데모에선 훌륭해 보일 수 있지만, 복잡한 단계들 사이에서 상태를 유지하고, 잘못된 툴 결과에서 복구하고, 위험한 작업을 하기 전에 사람한테 물어봐야 하는 상황이 되면 금방 한계가 드러남.

똑같은 일을 두 번 반복하는 거요. 월요일에 들어온 메시지가 수요일에도 들어오는데 처리 방식이 제각각입니다. 왜 그렇게 됐냐고 물어보면 딱히 좋은 답변을 할 수가 없죠. 이게 한 번의 큰 실패보다 사람들이 AI를 신뢰하지 못하게 만드는 진짜 이유입니다.

이게 사람들이 과소평가하는 부분인데, 두 번의 실행 모두 틀린 게 아닐 수도 있기 때문임. 둘 다 나름의 근거가 있을 수 있는데도 신뢰도는 박살 나지. 왜 결과가 다른지 설명할 수 없으니까.

결정 자체를 기록하기보다 결정에 들어간 입력값을 기록하는 게 훨씬 유용함. 입력 해시, 검색된 문서 ID, 원본 툴 응답, 모델 및 버전, 샘플링 설정 같은 것들 말이야. 그러면 '왜 결과가 다르지?'라는 질문이 그냥 말싸움이 아니라 실행 가능한 diff가 되는 거지.

그렇게 해보고 놀랐던 건...