웹사이트를 AI 친화적으로 개선했더니 AI 트래픽이 12배 폭증함

새로운 랜딩 페이지가 AI 에이전트에게 얼마나 준비되어 있는지 확인하기 위해 아주 상세한 감사를 진행했습니다. 100점 만점에 9점을 받았네요(웹사이트를 만든 지 2주밖에 안 돼서 상처받지는 않았습니다).

그래서 오후 내내 감사 보고서에 나온 모든 문제를 수정하는 데 시간을 썼습니다. 다음 날 AI 트래픽이 급증했고, 그 이후로도 계속 유지되고 있습니다.

이런 에이전트 방문이 실제 인간 사용자로 이어질지는 계속 모니터링 중입니다. 하지만 몇 시간의 작업만으로 차트가 이렇게 빠르게 움직이는 걸 보니 정말 유망해 보여서 체크리스트를 공유하려고 합니다.

제가 수정한 내용은 다음과 같습니다:

1. AI 접근성
   • 주요 AI 봇(GPTBot, ChatGPT-User, ClaudeBot, PerplexityBot, Google-Extended, CCBot)을 명시적으로 허용하는 robots.txt 게시
   • robots.txt 내에 Content-Signal 지시문과 사이트맵 참조 추가
   • 모든 URL에 lastmod가 포함된 sitemap.xml 제공
   • llmstxt.org에 따라 llms.txt(간략) 및 llms-full.txt(포괄) 게시
   • 코딩 에이전트가 제품을 안내할 수 있도록 AGENTS.md 추가
   • 클라이언트 전용 SPA가 아닌 서버 사이드 렌더링 적용 (SPA는 빈 HTML을 반환하지만, 에이전트는 자바스크립트가 아닌 HTML을 읽습니다)
2. 브랜드 아이덴티티
   • 사이트 전체에 JSON-LD Organization + WebSite 스키마(이름, URL, 로고, 설명) 삽입
   • <title>, og:title, Organization name 전반에 걸쳐 브랜드 문자열을 정확히 일치시킴 (불일치는 중복으로 인해 브랜드 권위를 분산시킵니다)
   • 전체 Open Graph + Twitter Card 메타데이터 적용
3. 콘텐츠 가독성
   • 적절한 제목과 본문 텍스트를 갖춘 실제 시맨틱 HTML 섹션 작성