고객은 에이전트가 다 하는 줄 알지만, 밤 11시의 나는 고통받고 있다

그으으으럼 에이전트가 아직 완성된 게 아니라는 거네.....

너 이거 에이전트로 쓴 거지? 네 이야기 전체가 작위적인 쓰레기네.

이거 나도 팔로우해야겠네. 나도 웹페이지 탐색하는 거 만들고 있는데 에이전트 혼자서는 제대로 못 해서 Python 툴을 직접 짜야 했거든. 툴이 성공적으로 돌아가면 내가 시킨 대로 했다는 확신이 들어서 마음도 편하고. 에이전트는 콘텐츠를 어떻게 가져왔는지 모호하게 굴더라고. Vertex AI에서 돌리는 중이야. Playwright도 고려해봤는데 좀 과한 것 같아서.

90초짜리 수정 작업은 제품이 뭘 팔아야 할지 알려주는 거임. 숨기지 말고 가격을 매겨. 원인과 시간을 기록해. 한 달 뒤면 실패 유형이랑 문제 일으키는 취약한 지점 2~3곳이 나올 거임. 그걸 월간 보고서에 넣고 '모니터링/유지보수' 항목으로 청구해. 가능하면 그 취약성을 고객 문제로 돌려. UI 건드리는 대신 API나 CSV, 이메일로 데이터 달라고 해. 안 되면 솔직한 SKU는…

"솔직한 SKU는 로봇이 아니라 관리형 자동화다"라는 말을 계속 피하고 있었는데, 숨기는 게 실수라는 네 말이 맞음. 괜찮다고 했던 고객은 그게 더 이상 눈에 안 보이는 게 아니라서 괜찮았던 거임. 로그 61개 쌓였는데 특정 사이트 2곳이 문제의 주범임. 개입 횟수를 월간 보고서에 넣는 건 생각 못 했는데, 확실히 맞는 말임. 부끄러워하던 걸 증거로 바꾸는 거니까.

와, 날짜 선택기 문제는 진짜 공감되네요. 사소한 UI 변경이 모든 걸 망가뜨리는데 고객은 마법처럼 작동하는 줄 알죠.

저는 수동으로 고친 것들을 기록하기 시작했고, 결국 그중 몇 개는 자동화 로직에 포함시켰어요. 물론 전부 다는 아니고, 너무 예외적인 케이스는 그럴 가치가 없어서 뺐지만요.

당신은 지금 사실상 아주 힘든 방식으로 RLAIF를 하고 있는 셈이네요.

제 스프레드시트 절반이 당신이 '가치 없다'고 판단해서 안 만든 것들로 채워져 있어요. 그게 저를 무섭게 하는 부분이에요. 예외 케이스가 드문 게 아니라, 매번 다르게 나타나거든요. 당신이 만든 수정 사항 중에 한 달 이상 살아남은 게 있나요?

나도 똑같음. 고객 몇 명 있는데 내 폰에도 똑같이 알림 뜸 ㅋㅋ. 내가 깨달은 건 에이전트를 똑똑하게 만드는 것보다 밤 11시에 하는 수동 수정을 가시화하는 거였음. 에이전트가 모르는 상황에 부딪히면 멈추고 텔레그램으로 나한테 질문을 보냄. 침대에서 답장하면 그게 실행 로그에 남아서, 나중에 날짜 선택기 또 바뀌면 내가 저번에 어떻게 했는지 기록이 남아있음. 클라이언트도 그 로그를 같이 봄. 마법 같은 로봇에서 로봇+대기 중인 사람으로 바뀐 건데, 클라이언트는 그걸 괜찮아했음. 그냥 그 사람은...

클라이언트가 상황을 볼 수 있게 되니까 괜찮아했다는 점을 내가 계속 과소평가했네. 문제는 사람이 개입한다는 사실 자체가 아니라, 그 개입이 보이지 않았다는 거였음. 그래서 클라이언트 입장에서는 이유 없이 가끔 고장 나는 마법처럼 보였던 거지. 실행 로그에 답이 남게 하는 건 좋은 접근임. 내가 추구하는 건 그 다음 단계임: 로그가 그냥 너랑 클라이언트만 읽는 게 아니라, 에이전트가 다음번에 읽을 수 있게 만드는 거. 지금 내 로그는 내가 뭘 했는지에 대한 기록이지, 절차가 아님...