에이전트 워크플로우를 프로덕션에서 실행하기?

근데 HITL이 현재 어디에 적용되고 있고, 본인 경험상 자동화의 범위는 어느 정도임?

검증이 silent failure를 잡고, 트레이싱이 그걸 빨리 찾는다는 거네. 당신한테 'validation'은 구체적으로 뭘 의미함? 스키마 체크? 도구 호출 확인? 그리고 '쉬운 tracing'은 어떤 모습이어야 함? 단계별 로그, 시각적 diff, 아니면 다른 거?

트레이스 부족 때문에 망하는 게 아니라 **의사결정 재구성(decision reconstruction)**이 안 돼서 망하는 거임. 비싼 버그는 도구 호출 시퀀스는 보이는데, 에이전트가 왜 그 분기를 선택했는지 당시의 정확한 정책/프롬프트/컨텍스트 상태를 알 수 없는 경우임. 우리가 찾은 유용한 단위는 재생 가능한 의사결정 아티팩트임: 입력 스냅샷, 범위 내 도구 결과, 정책/프롬프트 버전, 그리고 결정 시점에 캡처된 분기 근거. 사람들이 주로 cross-run diffing이나 정확한 단계별 재현 기능이 없어서 힘들어하는지 궁금함.

멋진 포인트네. 의사결정 아티팩트가 디버깅의 진짜 단위라는 거. 질문 하나: 그런 스냅샷(입력, 도구 결과, 프롬프트 버전, 분기 근거)을 지금은 수동으로 캡처함, 아니면 자동으로 해주는 툴이 있음? 만약 그걸 해주는 툴이 있다면 워크플로우가 어떻게 바뀔 것 같음?

우리도 이런 문제 거의 다 겪어봄 - 다단계 체인 깨짐, silent tool failure, 기대와 다른 출력 등. 가장 큰 시간 낭비는 재시도였음: 상태나 의도가 조금만 틀어져도 중복된 사이드 이펙트가 발생함. 우리한테 진짜 도움이 됐던 건 모든 단계와 도구 호출을 영속화하는 durable execution layer(우리는 Calljmp 사용)로 옮긴 거였음. 시스템이 마지막으로 확인된 정상 상태에서 재개할 수 있고, 재시도를 안전하게 처리하며, 디버깅이 훨씬 빨라짐.