AI 에이전트 워크플로우 중 어디까지 자동화에 맡기시나요?

솔직히 이게 전체 워크플로우에서 가장 까다로운 부분임. 나는 항상 에이전트가 실행되고 나서 처음 2~3분은 무조건 지켜보는 습관을 들임. 사람도 피곤하면 실수하기 마련이고, 모호하거나 앞뒤가 안 맞는 프롬프트를 나도 모르게 넘겨주기가 너무 쉬움. 내 설정에서는 에이전트가 제약 조건이 충돌하거나 사양이 부족한 걸 감지하면, 억지로 추측해서 진행하지 말고 무조건 멈춘 뒤에 나한테 직접 명확하게 질문하도록 지시해둠. 자동화를 신뢰할 때조차도 나는…

입력이 곁에서 지켜보는 것보다 중요하다는 점이 흥미롭네. 에이전트가 시작하기 전에 에이전트의 초기 이해도가 네 사양과 일치하는지 확인할 방법이 있어?

네 생각엔 왜 그래?

나한테 신뢰는 모호한 느낌이 아니라 명확한 엔지니어링 경계임. 이걸 해결하려고 에이전트 기반 SDLC 시스템(LEO Framework)을 직접 만들었어.

내가 에이전트를 무인으로 돌릴 수 있는 이유는, 내가 서두르려고 하면 시스템이 말 그대로 내 손을 때리기 때문임:

1. 아키텍처 뒷받침 없이 빠른 기능을 요구하면, ADR을 초안하고 아키텍처 스파인을 업데이트하기 전까지는 코드를 건드리는 걸 거부함.

2. 스프린트가 끝나면, 정확한...

에이전트가 커밋하게 두는 대신 푸시만 수동으로 하는 방식이 아니라, 왜 커밋을 하드 스톱(작업 중단 지점)으로 정한 거야?

되돌릴 수 있는 작업은 전부 자동화로 돌립니다. 초안 작성, 조사, 데이터 추출, 분류 같은 것들이요. 기본적으로 이메일 발송, 결제, 레코드 삭제처럼 보내거나, 쓰거나, 지우는 작업은 에이전트가 과거에 얼마나 잘했든 상관없이 여전히 사람의 확인이 필요합니다.

보내거나, 쓰거나, 지우는 모든 작업이 저에게도 절대 넘지 않는 선입니다. 고객에게 이상한 이메일 하나 잘못 나가면 몇 주 동안 해명해야 하거든요.

말 그대로 전부 다요. 물론 거기까지 도달하는 데 시간이 좀 걸렸지만요. 여기 확인해보세요