Anthropic이 밝힌 AI 에이전트가 실무에서 90% 실패하는 이유

Anthropic은 최근 자사 공개 API를 통해 수백만 건의 실제 인간-에이전트 도구 호출을 분석한 매우 심도 있는 보고서를 발표했으며, 이 에이전트들이 어디에 배포되고 있는지에 대한 분석 결과를 공유했습니다.

그들은 "소프트웨어 엔지니어링이 플랫폼 내 모든 에이전트 활동의 약 50%를 차지한다"고 밝혔습니다. 영업, 마케팅, 재무, 법률 등 다른 모든 분야는 한 자릿수 점유율에 머물러 있습니다.

이에 대한 초기 반응은 대부분 다음과 같은 식이었습니다: "아, 보시다시피 AI 에이전트는 코딩에만 효과가 있네. 아직 나머지 기업 환경은 해결하지 못했어."

하지만 코딩이 아닌 환경에서 자율 에이전트를 구축하고 배포해 본 사람이라면 그것이 잘못된 결론이라는 것을 알 것입니다. 모델 자체는 충분히 유능하지만, 진짜 문제는 소프트웨어 엔지니어링 데이터는 깔끔한 반면 실제 비즈니스 데이터는 끔찍하고 정돈되어 있지 않다는 점입니다.

생각해 보세요:

• 코딩이 에이전트에게 쉬운 이유: 코드는 구조화된 Git 저장소에 존재합니다. 엄격한 문법 규칙을 따르고, 명확한 문서가 있으며, 결정론적인 터미널 내에서 실행됩니다. 에이전트가 무언가를 망가뜨리면 컴파일러가 무엇이 잘못되었는지 정확히 알려주는 깔끔한 오류 메시지를 던집니다.
• 나머지 세상이 어려운 이유: 영업이나 마케팅 에이전트는 깔끔한 GitHub 저장소를 얻지 못합니다. 대신 경쟁사 가격이나 형식이 엉망인 데이터처럼 끊임없이 변화하는 정보들을 다뤄야 합니다.

코딩이 아닌 분야의 에이전트가 실패할 때, 그것은 거의 모델이 추론 능력을 잃어서가 아니라, 수천 개의 쓸모없는 <div> 태그와 추적 스크립트로 문맥 창을 채우는 비정형 웹 데이터에 질식해 환각을 일으키기 때문입니다.

Anthropic 차트의 낮은 점유율 구간(자동화된 시장 조사나 실시간 CRM 라우팅 등)에서 에이전트를 성공적으로 작동시키는 개발자들은 보통 깔끔한 입력값, 안정적인 스크래핑과 같은 보이지 않는 지루한 인프라 작업에 대부분의 시간을 쏟고 있으며, 바로 그 부분이 진정한 차이를 만듭니다.

코딩 외 분야에서 현대적이고 신뢰도가 높은 에이전트 스택을 살펴보면, 보통 다음 세 가지에 의존합니다:

1. 핵심 추론기: 논리를 처리하기 위해 Claude Sonnet처럼 빠르고 문맥 창이 거대한 모델.
2. 게이트웨이에서의 데이터 위생: 에이전트가 원시 웹 URL을 직접 스크래핑하게 두는 대신(봇 차단을 유발하고 수정이 필요한 HTML을 입력받게 됨), 개발자들은 Firecrawl이나 Jina Reader 같은 도구를 사용하여 인터넷 데이터를 전용 마크다운 변환기로 공급합니다. 이 방식이 표준이며, 에이전트는 순수한 텍스트를 받아 토큰 비용을 절감하고 환각을 방지합니다.
3. 안전장치 레이어: 에이전트가 되돌릴 수 없는 작업(이메일 전송이나 데이터베이스 레코드 업데이트 등)을 실행하기 전에 출력값을 확인하는 전통적인 코드 훅이나 규칙 엔진.

기업 내 나머지 분야에서 도입률이 낮은 것은 에이전트가 과대평가되었다는 의미가 아닙니다. 대부분의 산업에서 주변 도구들이 여전히 형편없기 때문입니다. 따라서 데이터 측면이 더 안정화되면, 엔지니어링 외 분야에서도 도입이 훨씬 빠르게 확산되는 것을 보게 될 것입니다.

이에 대해 어떻게 생각하시나요? 재무, 마케팅, 운영 분야에서 에이전트를 구축하고 계신 분들의 의견을 듣고 싶습니다!