쇼피파이 CEO가 말한 '슬롭 수류탄'. 우리도 AI 도입 과정에서 똑같은 걸 치우고 있다.
Shopify's CEO calls it "slop grenades." We've been cleaning up the same thing in AI rollouts.
핵심 요약
AI 도입으로 업무 효율은 올랐지만, 검토되지 않은 AI 생성물인 '슬롭 수류탄'이 동료들의 업무 부담을 가중시키고 있음.
- 슬롭 수류탄 — 검토 없이 전송되는 AI 생성 이메일과 코드를 의미함.
- 업무 부담 증가 — AI 도입 후 검토 시간이 늘어나며 생산성 저하를 초래함.
- 검토 프로세스 개선 — 작은 단위의 코드 리뷰와 사전 검증 단계 도입이 효과적임.
- 생산성 측정 지표 — AI 도입 시 단순히 출력물 양이 아닌 리뷰어의 시간을 추적해야 함.
토비 뤼트케가 이번 주 The Knowledge Project에서 쇼피파이 직원들이 서로에게 "슬롭 수류탄(slop grenades)"을 던지고 있다고 말했다. 이건 보낸 놈이 읽어보지도 않은 AI가 쓴 이메일이나 코드를 말하는데, 이게 지금 동료들 리뷰 대기열에 쌓여있다는 거다.
작년에 AI에 대한 기대치를 딱 정해줬던 그 토비 맞다. 대놓고 저렇게 말하는 거 진짜 인정한다.
BetterUp Labs랑 스탠퍼드가 미국 사무직 노동자 962명을 대상으로 조사한 결과는 이렇다:
-
52.7%가 자기가 슬롭(workslop)을 보낸 적 있다고 인정함
-
38%는 받아본 적 있다고 함
-
한 달에 3.4시간을 이거 수정하는 데 씀 (작년엔 2시간이었음)
-
AI 도입을 강하게 밀어붙이는 회사일수록 더 심함
웃긴 건, 자기가 보냈다고 인정한 사람이 받았다고 한 사람보다 많다는 거다. 슬쩍슬쩍 그냥 통과되고 있다는 소리지.
BotsCrew에서 프로젝트 진행할 때도 이런 거 엄청 많이 봤고, 우리 내부적으로도 겪어봤다. 리더십이 AI 쓰라고 강요해서 결과물은 쏟아지는데, 리뷰 방식은 여전히 2022년 수준에 머물러 있을 때 이런 문제가 터진다.
우리한테 도움 됐던 것들:
-
안 읽었으면 보내지 마라. 너무 당연한 소리 같지? 그래도 명문화해라.
-
리뷰 단위를 작게 쪼개라. 우리 엔지니어 중 한 명은 에이전트가 짠 코드를 stacked PR로 바꿨다. 거대한 diff 하나 던지는 대신, 작은 PR 여러 개를 연결하는 방식이다. 덕분에 리뷰가 고통에서 평범한 수준으로 바뀌었다.
-
작업 시작 전에 2차 검토를 거쳐라. 우리 배달 팀 하나는 백로그에 evaluator skill이랑 triage skill을 돌린다. 그럼 진짜 문제들을 미리 잡아낼 수 있다.
-
반복 업무는 템플릿을 잠가버려라. 우리 재무 팀장은 반복되는 회의마다 skill을 하나씩 쓴다. 숫자는 바뀌어도 구조는 그대로니까, 그 사람은 숫자 자체가 뭘 의미하는지 고민하는 데 시간을 쓴다.
교훈은 이거다. AI 덕분에 글 쓰는 비용은 거의 공짜가 됐는데, 그 비용을 읽는 사람이 대신 치르고 있다. 우리 기준은 간단하다. 처음부터 새로 쓰는 것보다 고치는 게 더 오래 걸리면, 아무리 번지르르해 보여도 그건 그냥 슬롭이다.
AI 도입 현황을 추적하고 있다면, 리뷰어들이 갈려 나가는 시간도 같이 체크해라. AI 생산성이 진짜로 어디서 나타나는지 거기서 다 드러난다.
