r/promptengineering•5개월 전•94•23
CEO가 BI 툴을 없애고 AI로 대체했다가 모든 걸 망쳐버림
ceo cancels BI tooling, replaces it with AI, breaks everything
핵심 요약
BI 툴을 AI로 무리하게 대체한 CEO 때문에 데이터 정합성이 깨지고 업무 효율이 급감한 사례 공유.
- BI 툴 폐지 — CEO가 Metabase를 Claude로 대체하며 데이터 관리 체계가 붕괴됨.
- 데이터 정합성 문제 — 정의되지 않은 지표와 오래된 데이터로 인해 AI가 엉뚱한 수치를 생성함.
- 데이터 팀의 고충 — AI의 오류를 수정하고 설명하는 데 시간을 낭비하며 본연의 업무가 마비됨.
- 관리자의 오판 — 시스템 교체 시 검증 과정 없이 AI를 도입한 것이 근본적인 실패 원인임.
몇 달 전 고객사에서 이런 일이 벌어지는 걸 봤음. 원래 Metabase로 대시보드를 쓰고 있었는데, CEO가 그걸 없애고 팀에 Claude를 던져주면서 '대시보드는 낭비니까 그냥 AI한테 물어봐'라고 함. 예상했겠지만, 나중에 나한테 전화해서 뭔가 망가진 것 같다고 하더라.
영업 부사장이 수치를 뽑았는데, 놀랍게도 재무팀 수치랑 하나도 안 맞는 거임. 당연히 '활성 고객'에 대한 정의도 제각각이었고. Claude(이 툴을 정말 좋아하지만)는 2022년 이후로 정리되지 않은 테이블 때문에 리텐션 수치를 환각(hallucination)으로 만들어내고 있었음. 설상가상으로 데이터 팀은 뭐 하나 제대로 만들지도 못하고 하루 종일 AI가 왜 틀렸는지 설명하느라 시간 다 보냄.
제일 웃긴 건 Claude는 설계된 대로 완벽하게 작동했다는 거임. Metabase가 병목이었던 게 아니었음. 사실 Metabase는 회사가 지표 정의에 대해 대화하도록 강제하는 유일한 수단이었던 거지...
지난주에 다른 데이터 컨설턴트한테도 거의 똑같은 이야기를 들었음. 다른 회사인데 똑같은 교체, 똑같은 결과.
이거 패턴이 되는 거임, 아니면 우리 둘 다 운이 없었던 거임?
