r/vibecoding•4개월 전•8•18
사용자 40명 정도인데 AI 출력물 모니터링 때문에 골머리 앓는 중
~40 users but struggling to monitor AI output
핵심 요약
웹 앱 사용자 증가에 따라 AI 출력물의 품질을 관리하고 모니터링하는 효율적인 방법에 대해 조언을 구하고 있습니다.
- 로그 기록 — 모든 입출력 데이터와 프롬프트 버전을 데이터베이스에 저장함
- 자동화 테스트 — 기존 대화 로그를 활용해 통합 테스트를 구축함
- 사용자 피드백 — 출력물에 직접 신고 버튼을 추가해 문제 상황을 파악함
- 모니터링 도구 — Sentry나 Posthog 같은 외부 서비스를 활용해 문제 해결함
이번 주에 웹 앱 사용자가 40명 정도 됐는데, 대체로 순조롭게 돌아가고는 있지만 확장성 면에서 한계에 부딪힐 것 같은 느낌이 듭니다.
어제 한 사용자가 이상한 출력물을 받았다고 지원 티켓을 보냈습니다. 그 사용자가 보낸 스크린샷 덕분에 무슨 일이 있었는지 알게 됐지만, 이제는 얼마나 많은 잘못된 출력물이 생성되고 있는지 걱정되기 시작하네요. 내부 테스트에서는 다 잘 작동하는 것 같은데, 프롬프트를 조금 바꾼 것 때문에 잠재적인 사용자를 잃고 있는 건 아닌지도 모르겠습니다.
지금 당장은 큰 문제가 아닐 수도 있고 그냥 넘길 수도 있겠지만, 혹시 앱 내에서 이런 문제를 처리하기 위해 구현해둔 게 있는지 궁금합니다.
