AI 에이전트 디버깅 시 병목 현상은 무엇인가요?

우리한테 제일 오래 걸리는 건 항상 왜 런이 궤도를 이탈했는지 파악하는 거였음. 점수나 에러 메시지는 그냥 뭐가 잘못됐다는 것만 알려주니까. 단계별로 툴 콜을 추적하는 게 실제로 문제를 특정하는 데 도움이 됐고, 제일 시간 잡아먹는 건 최종 답변은 멀쩡해 보이는데 중간 과정이 꼬인 '조용한' 장애들이었음. 그래서 중간 툴 출력값까지 점수를 매기게 됐지.

그 과정 중에 일부라도 자동화해 본 적 있어?

우리한테 제일 오래 걸렸던 조사는 겉보기에 아무 문제도 없었을 때였음. 모든 툴 호출은 성공했고 에이전트도 작업을 완료했는데, 결과값이 틀린 경우지. 결국 트레이스를 다 뒤져보면서 정확히 어디서 추론이 엇나갔는지 찾아내야 함.

그런 사고들을 영구적인 테스트 케이스로 다루는 게 엄청 도움 됐음. 운영 이슈에서 뭔가 배우면 그걸 바로 Braintrust evals에 추가해서, 나중에 프롬프트나 모델을 바꿀 때마다 무조건 통과하게 만드는 거지. 시간이 지나면서 그게...

흥미롭네 🧐

저한테 가장 큰 병목은 거의 항상 관측 가능성과 재현성 문제예요. 최종 답변은 볼 수 있는데 정확한 도구 호출, 중간 상태, 혹은 어떤 검색 청크가 결정에 영향을 미쳤는지 알 수가 없거든요. 가장 도움이 된 것들: - 모든 도구 호출에 대한 구조화된 로그(입력, 출력, 지연 시간, 오류) - 전체 실행 과정에 전파되는 트레이스 ID - 단계별 전체 에이전트 상태 저장(계획, 메모리, 검색된 문서, 도구 결과) - 재실행을 위한 리플레이 하네스...