적합한 AI 에이전트를 찾는 과정은 엉망입니다. 제가 계속 보는 상황은 이렇습니다.

추천수 기반의 선택 방식은 실패할 수밖에 없음. 왜냐하면 '일반적으로' 최고인 에이전트가 내 데이터나 워크플로우에 최적인 경우는 거의 없기 때문임. 선택하기 전에 두 가지를 적어보길 권함. 나에게 성공이란 무엇인가(느낌이 아닌 지표로), 그리고 에이전트가 무엇을 다뤄야 하는가(문서, 티켓, 도구 등). 대부분의 '어떤 에이전트가 좋을까'라는 질문은 사실 '아직 업무 정의를 안 했다'는 질문과 같음.

업무 정의 부분이야말로 대부분의 평가 프레임워크가 완전히 건너뛰는 부분임. 수십 개의 에이전트를 벤치마킹해도 결국 잘못된 선택을 하게 되는데, 벤치마크가 실제 데이터 형태나 도구 통합을 전혀 고려하지 않기 때문임. 성공 지표를 먼저 정의하면 배포 중간에 업무가 변경될 때도 바로 알아챌 수 있는데, 대부분의 에이전트 실패가 바로 그 지점에서 조용히 발생함.

보통은 같은 문제를 겪어본 사람의 입소문인데, 그런 경우는 드묾. 대부분의 발견 과정은 결국 적합성에 대해 아무것도 알려주지 않는 추천순 목록으로 끝남. 어차피 도구 자체보다 업무 정의가 훨씬 중요함. 에이전트가 정확히 무엇을 해야 하는지, 그리고 어떻게 작동하는지 설명할 수 없다면 평가는 기본적으로 무작위임.

정말 공감됨. 이제 ERC-8004로 에이전트가 온체인에 신원을 등록할 수 있게 됐지만, 여전히 평가 문제는 해결되지 않음. 신원이 있다는 건 발견에는 유용하지만, 사용자나 다른 에이전트 입장에서는 그 에이전트가 실제로 신뢰할 수 있는지, 고품질인지, 내 특정 사용 사례에 적합한지 이해하기 위해 여전히 수동으로 깊게 조사해야 함. 현재로서는 그걸 평가할 표준화되고 설명 가능한 방법이 없음. 나는 투명한 평판과 점수를 제공하는 도구들이...