AI 에이전트 오류의 자동 근본 원인 분석 서비스에 비용을 지불할 의향이 있으신가요?

솔직히 오류 종류에 따라 다름. 프롬프트 같은 작은 문제라면 30분 정도면 고치지만, 워크플로우가 잘못됐거나 신경망 구축 과정에서 문제가 생기면 훨씬 크고 긴 디버깅이 필요함. 며칠씩 걸릴 수도 있어서 이런 부분은 자동화가 정말 절실함. AI 개발에 큰 도움이 될 거라 생각해서 긍정적임.

프롬프트 문제랑 데이터 문제를 확실하게 구분해 줄 수 있다면 돈 낼 의향 있음. 트레이스 보면 멀쩡해 보이는데 알고 보니 리트리벌이 낡은 컨텍스트를 가져왔거나 툴이 쓰레기 같은 데이터를 뱉어낸 경우가 절반은 됨. 디버깅 시간 다 거기서 잡아먹히거든..

꽤 오랫동안 프로덕션에서 에이전트를 돌려본 입장에서 솔직하게 말해줌:

실패의 '유형'(누락된 컨텍스트, 상충하는 지시사항, 잘못된 툴 데이터, 무시된 제약 조건 등)을 파악하는 건 보통 금방 끝남. 트레이스(trace)를 읽어보면 몇 분 안에 어떤 범주에 속하는지 바로 알 수 있거든. 진짜 어려운 건 그 다음인데, 크게 두 가지임.

첫째, 실제로 돈을 날려먹는 실패들은 단 하나의 명확한 원인인 경우가 거의 없음. 보통 여러 문제가 겹쳐서 발생함: 컨텍스트가 부족했거나, 지시사항 중 하나가 모호했거나...

아니, 외부 툴은 내 에이전트 시스템의 맥락을 충분히 파악하지 못해서 제대로 진단할 수가 없거든. 에이전트 시스템은 자체 진단 능력이 필요해. 에이전트가 트레이스를 돌면서 스스로 진단하는 게 기본 기능으로 들어가야지.