멀티 에이전트 AI 워크플로우에서 가장 골치 아픈 점은 무엇인가요?

솔직히 제일 힘든 건 개별 에이전트가 아니라, 6단계 전에 에이전트가 내린 결정이 어떻게 뒤쪽 전체를 조용히 망쳐놨는지 찾아내는 거임. 나도 runable로 멀티 에이전트 콘텐츠 흐름 실험할 때 오케스트레이션이나 디버깅 때문에 비슷한 고통 겪음.

맞아, 그래서 난 좀 더 복잡한 워크플로우에는 사람이 개입하거나 결정론적인 방식을 선호함. MVP 만들 때는 완전 에이전트 모드를 써도 되는데, 실수가 잦아지면 사람의 손길이나 확실한 워크플로우로 정밀도를 높여야 함.

아직 아무도 언급 안 한 부분인데, 워크플로우에 경제적 활동을 도입하면 에이전트 신원 확인이랑 결제 승인이 진짜 개판이 됨. 에이전트 A가 에이전트 B한테 하위 작업을 위임했는데 그 작업이 돈을 쓰거나 트랜잭션 서명을 요구하는 경우, 오케스트레이션 프레임워크가 거의 확실히 추적하지 못하는 '누가 이걸 승인했는지'에 대한 명확한 책임 소재가 필요해짐. 에이전트가 재시도 로직이랑 결제 문제 때문에 유료 API 호출을 11번이나 재시도하는 시스템도 봤음.

가시성 문제가 진짜 심각함. 에이전트끼리 서로 호출하고, tool call 환각 일으키고, 예상치 못한 방식으로 재시도하고, 로그는 그냥 LLM 출력물로 도배됨. 프로덕션에서 문제 터지면 토큰 트레이스 보면서 무슨 일이 있었는지 일일이 복구해야 함. 에이전트 체인 디버깅이 마치 한 손 묶고 분산 시스템 디버깅하는 기분이라 아예 전용 툴을 직접 만들었음.

'조용한 실패' 문제가 프로덕션에서 팀들을 가장 괴롭히는 주범임. 단일 에이전트 시스템은 잘못된 출력이 눈에 보이고 범위도 한정적인데, 멀티 에이전트 체인은 각 단계는 멀쩡해 보여도 뒤로 갈수록 에러가 쌓임. 눈치챘을 땐 이미 사용자는 엉망인 결과물을 보고 있고, 어디서부터 잘못됐는지 추적하기도 힘듦. 에이전트 간 핸드오프를 API처럼 다루는 게 제일 효과적이었음.