r/AI_Agents•4개월 전•4•9
왜 소프트 404를 감지하는 API는 없는 걸까?
why is there no api for detecting soft-404s
핵심 요약
정상적인 상태 코드를 반환하지만 실제 콘텐츠는 사라진 '소프트 404' 문제를 해결할 API를 찾는 사용자의 고민입니다.
- 링크 로트 문제 — 6개월 만에 아웃바운드 링크가 리다이렉트되거나 도메인 판매 페이지로 변질됨
- 기존 도구의 한계 — 상태 코드만 확인하는 도구들은 소프트 404를 제대로 잡아내지 못함
- 직접 구현의 어려움 — 헤드리스 크롬으로 직접 검사기를 만들고 있으나 관리가 복잡함
- 대안 제시 — Firecrawl이나 여러 신호를 조합한 점수 산정 방식이 해결책으로 언급됨
아웃바운드 링크의 절반이 6개월 안에 썩어버려. 404 에러가 뜨는 게 아니라, 페이지는 잘 뜨는데 홈페이지로 리다이렉트되거나, 어디로 이동했는지 링크조차 없는 '이 기사는 이동되었습니다' 같은 쓰레기 페이지로 연결되는 교묘한 경우들이지 ㅋㅋㅋ
어제 내 예전 포스트 하나에서 발견했는데, 원래는 아주 괜찮은 Postgres 튜닝 관련 글이었거든? 근데 지금은 도메인을 2천 달러에 다시 사라고 하는 GoDaddy 파킹 페이지로 바뀌어 있더라. 멋지네.
헤드리스 크롬으로 직접 검사기를 만들고 있는데, 기본적으로 제목을 비교하고 리다이렉트 체인을 확인하면서 뻔한 스쿼터 페이지를 찾아내려고 하는 중이야. 근데 엉망진창이지. UptimeRobot도 써봤는데, 당연히 이건 업타임만 확인하더라고. 내가 찾아본 모든 깨진 링크 검사기들은 그냥 상태 코드만 확인하고 '오케이, 초록색 체크 표시, 넌 괜찮아' 이러고 끝이야.
그냥 엔드포인트에서 호출할 수 있는 POST 엔드포인트가 하나 있었으면 좋겠어. URL을 주면 '이게 진짜 실제 콘텐츠인가?'에 대해 예/아니오로 답해주는 거. 내가 뭔가 뻔한 걸 놓치고 있는 건가? 너희들은 이거 해결할 방법 있어?
