3일차: 1,500달러 예산으로 AI 웹사이트 감사 도구 만들기 | 백엔드 계획, 경쟁사 테스트 및 정확도 문제. 현재까지 5달러 지출.
Day 3: Building an AI Website Auditor on a $1,500 Budget | Backend Plan, Competitor Testing, and Accuracy Challenges. $5 spent so far.
핵심 요약
UX/UI 디자이너가 AI 웹사이트 감사 도구 개발을 위해 백엔드 구조와 정확도 검증 방안을 모색 중입니다.
- 개발 전략 — UX 모듈을 시작으로 점진적 기능 확장 및 검증 수행
- 경쟁사 분석 — 기존 AI 감사 도구들의 결과값 불일치 및 주관적 평가 확인
- 검증 방법론 — LLM의 추론을 실제 데이터와 대조하는 아티팩트 기반 검증 도입
- 향후 계획 — before/after 테스트를 통한 AI의 문제 해결 인식 능력 평가
일단 지난번 글에 댓글 달아주고 DM 보내준 형들 다들 고마워.
난 백엔드 쪽은 잘 모르는 UX/UI 디자이너인데, 개발자랑 AI 엔지니어 형들이 준 기술적인 피드백 양이 진짜 어마어마하더라고.
그래서 지난 며칠 동안 그 조언들을 백엔드 개발 참고 문서로 정리하고, 내 AI 어시스턴트랑 같이 하나씩 해결해 나가는 중이야.
현재 진행 상황은 이래.
1. 모듈 하나부터 시작
최종적으로는 UX, UI, 카피라이팅, 콘텐츠, 접근성, SEO, 마케팅/전환 이렇게 7개 카테고리를 감사(audit)하는 제품을 만들 거야.
근데 UX는 일관성 있게 평가하기가 특히 빡세서 이거부터 시작하려고.
초기 프로토타입은 이렇게 작동할 거야:
-
웹페이지 URL 하나를 입력받음.
-
실제 웹페이지에서 근거 자료를 추출함.
-
AI를 써서 잠재적인 UX 이슈를 찾아냄.
-
근거 자료랑 실행 가능한 개선안이 포함된 구조화된 결과물을 반환함.
-
내 전문적인 판단이랑 비교하고, 여러 번 돌려보면서 테스트할 예정.
렌더링이나 시각적 해석이 잘 안 될 때를 대비해서 스크린샷을 선택적으로 업로드하는 기능도 고민 중이야.
나머지 모듈 만들기 전에 일단 정확도부터 확실하게 검증하는 게 목표거든.
2. 경쟁사 실험
AI UX 감사 플랫폼 6군데를 조사해 봤는데, 테스트하는 데만 5달러 썼어.
무료로 쓸 수 있는 곳들은 전부 똑같은 웹사이트 3개를 넣고 돌려봤지.
결과가 좀 흥미롭더라.
똑같은 사이트를 넣었는데 점수가 34점, 59점, 73점(100점 만점) 이렇게 제각각으로 나오더라고.
찾아낸 문제점이나 심각도 분류, 개선안도 차이가 꽤 컸어.
어떤 건 그럴듯했는데, 어떤 건 너무 주관적이거나 근거가 부족해 보였거든.
이걸 보니까 LLM이 웹페이지를 대충 보고 내리는 인상 비평에 의존할 게 아니라, 확실한 근거 추출이랑 맥락 파악, 그리고 검증 과정이 진짜 중요하다는 걸 다시 한번 느꼈어.
3. 제품 제약 사항
초기 개발 예산은 마케팅 비용 빼고 1,500달러야.
사용자 경험은 최대한 심플하게 갈 생각이야:
URL → 스크린샷(선택) → 분석 → 우선순위별 개선안.
강제 가입이나 구독 같은 건 없어.
일단 무료 베타로 돌려보고, 나중에 건당 결제나 크레딧 패키지 같은 합리적인 가격 정책을 도입할 계획이야.
4. 다음 단계
이제 첫 번째 UX 백엔드 모듈 만들어서 여러 웹사이트에 테스트해 보고, 일관성이랑 정확도 평가하고, 처리 비용도 계산해 볼 거야.
그게 다 끝나야 나머지 6개 카테고리로 확장할 수 있을 것 같아.
현재 상태: 기술 조사 완료. 이제 프로토타입 개발 시작.
비슷한 시스템 만들어본 형들 있으면, LLM이 내놓은 결과를 그냥 믿지 말고 실제 웹페이지 근거랑 대조해서 검증하는 방법을 어떻게 짰는지 좀 알려주면 진짜 큰 도움이 될 것 같아.
