r/vibecoding•3개월 전•7•7
사용자 획득(UA) 분석: LLM 써본 사람 있음? 성능 어떰?
User acquisition analysis: anyone who has used llm for this and how did it perform?
핵심 요약
LLM을 활용한 UA 분석의 신뢰성에 대해 질문하며, 요약은 잘하지만 분석적 판단에는 여전히 사람의 개입이 필요함을 공유함.
- UA 분석 자동화 — Claude를 활용해 설치 트렌드와 채널별 설치당 비용 등을 분석함.
- 요약 성능 — 데이터 요약 및 주요 지표 추출에는 시간을 크게 절약해 줌.
- 분석 신뢰도 — 데이터 해석이나 판단이 필요한 부분에서는 여전히 오류가 발생함.
- 검증 프로세스 — 정확성을 위해 지표 정의를 제공하고 계산 과정을 확인하도록 함.
Claude가 원본 UA 데이터를 받아서 월요일 보고서의 초안을 작성할 수 있는지 테스트 중임. 설치 트렌드, 채널별 설치당 비용 같은 일반적인 것들 말이야.
뻔한 내용을 요약하고 짚어내는 데는 확실히 시간을 많이 아껴줌. 내가 여전히 옆에서 지켜봐야 하는 부분은 판단이 필요한 영역인데, 3% 정도의 변동을 유의미하다고 하거나 코호트 추세를 잘못 파악하기도 함. 그래서 지표 정의를 따로 주고 계산 과정을 보여달라고 함. 혹시 초안을 그대로 믿을 수 있을 정도로 신뢰성 있게 쓰는 사람 있음?
