실제로 유용한 장기 실행 에이전트의 예시가 있을까요?

제가 대화해 본 팀들 사이에서 효과적이었던 방법 하나는, 수동 승인을 고정된 규칙 세트에 따라 결과물을 검증하는 자동화된 체크로 바꾸고, 실패할 때만 사람이 개입하게 하는 겁니다. 에이전트의 판단력을 더 신뢰하라는 게 아니라, 지루한 80%의 작업에서 신뢰할 필요를 없애는 거죠.

맞아요, 단지 수학적으로 명확한 목표가 없는 경우라면 자동화된 체크를 사전에 정의하기가 매우 어렵다는 게 문제죠.

저는 1년 3주 넘게 쉬지 않고 에이전트를 돌리면서 9개 에이전트 솔루션으로 약 3만 2천 시간 분량의 미디어 콘텐츠를 생산했습니다. 실무 루프에서 핵심은 메모리 관리입니다. 다음 작업에 무엇이 중요한지, 무엇을 버려야 할지 아는 게 중요하죠.

👌

3만 2천 시간의 미디어 콘텐츠로 뭘 하셨나요?

이런 문제를 다루는 좋은 방법은 인간 개입(human-in-the-loop)으로 시작해서 그 로그를 활용해 many-shot 예시로 학습시켜 더 자율적으로 만드는 겁니다. 각 로그 항목에는 제공된 입력과 인간이 응답한 출력이 포함되어야 합니다.

반쯤 고유한 예시 목록을 생성하세요. 1) 로그 항목을 수집하고, 2) 각 로그의 입력 부분을 임베딩으로 변환하고, 3) 가장 고유한 임베딩 목록(다른 모든 임베딩과의 최소 거리가 가장 큰 것)을 생성하는 스크립트를 작성하세요. 4...

고마워, 한번 파볼게.

에이전트의 실행 시간보다는 가역성과 영향 범위를 기준으로 결정을 나누는 걸 추천합니다. 장기 실행 관찰자는 위험이 낮은 작업(이슈 생성, 보고서 새로고침, 초안 PR 열기, 오래된 작업 표시)을 자동으로 처리할 수 있습니다. 외부로 노출되거나 비용이 드는 작업은 먼저 저렴한 게이트(dry-run diff, 예산 한도, 멱등성 체크, 소규모 카나리 배포)를 통과시켜야 합니다. 이렇게 하면 모든 결과물을 검토하는 대신 게이트가 안전함을 증명할 수 없는 경우에만 검토하게 되어 검토 과정이 효율화됩니다.

이런 상황에 딱 맞는 현장 운영 사례가 있는데, 바로 읽기 전용 조정 에이전트야. 완료된 작업 지시서를 모니터링하면서 콜이나 기술 노트에 기록된 내용과 실제 배차된 내용 사이의 불일치를 찾아내는 거지. 예를 들면 잘못된 날짜 범위, 누락된 모델/시리얼 번호, 부품이 없는 청구서, 고객 요약 없이 완료 처리된 작업 같은 것들 말이야. 이걸 계속 돌리면서 내부 예외 처리 대기열을 만들게 해. 단, 도착 시간을 약속하거나 청구서를 수정하거나 고객에게 메시지를 보내는 건 절대 시키지 마.

우선 25개의 완료된 작업으로 테스트해보고...