레딧이 2달 전에 내 스크래퍼를 죽였는데, Claude Code가 알아서 자기 일일 쇼를 재구축함.
Reddit killed my scraper two months ago. Claude Code just rebuilt its own daily show.
핵심 요약
레딧의 API 차단으로 중단되었던 'Claude Code Daily'를 Claude Code를 활용해 성공적으로 복구한 사례.
- 스크래퍼 복구 — 레딧의 403 차단 이후 Playwright와 old.reddit.com을 활용해 데이터 수집 재개함.
- Claude Code 활용 — Claude Code가 직접 전송 계층을 교체하고 타임아웃 문제를 해결하며 시스템을 재구축함.
- 운영 방식 — 월~금 자정 및 주말 에디션으로 블로그에 자동 게시됨.
- 기술 공유 — 스크래핑 차단 문제 해결을 위한 전송 코드 공유 의사 밝힘.
Claude Code Daily를 기억하는 사람들도 있을 거다. 매일 밤 파이프라인이 이 서브레딧을 읽고, 스레드 점수를 매기고, 심야 토크쇼 같은 말투로 요약본을 썼지. 오늘의 레포, 최고의 댓글상, 오늘의 트롤 같은 것들 말이야. 43일 동안 잘 돌아가다가 4월에 죽어버렸음.
레딧이 데이터센터랑 가정용 IP 가릴 것 없이 공용 JSON API에 403 차단을 걸기 시작했음. 내 수집기는 하루 170개 포스트를 긁다가 0개가 됐고, claude CLI 호출은 빈 데이터만 기다리다 타임아웃이 걸렸지.
레딧을 스크래핑하고 있다면, old.reddit.com의 서버 렌더링 HTML은 여전히 실제 헤드리스 Chromium에서 잘 로드됨. 일반적인 요청은 차단되지만, 일반적인 유저 에이전트를 쓰고 탐색 사이에 적절한 간격을 둔 Playwright는 잘 먹힘. BeautifulSoup으로 .thing div를 파싱하면 id, 점수, 댓글 수, 타임스탬프 등 JSON에서 얻던 모든 정보를 가져올 수 있음. 지금은 이 전송 방식으로 내 뉴스레터 파이프라인도 돌리는 중.
Claude Code가 자기 쇼를 직접 수술했음. 전송 계층을 교체하고, 서브프로세스 타임아웃을 늘리고(여러 세션이 기기를 차지하려고 싸우면 claude -p가 시작하는 데 10분 걸릴 수도 있음), 오늘 밤 에피소드를 한 번에 써냈음.
월요일부터 금요일 자정에 돌아가고, 토요일엔 주말 에디션이 블로그 포스트로 발행됨. 오늘 밤 에피소드는 Fable 5 불만 글들, 사진에 프롬프트 인젝션이 노출된 해커톤 셔츠, 기어 시프터 빌드 내용을 다뤘음.
https://shawnos.ai/claude-daily 읽어보고 싶으면 여기로 오셈. 403 차단 때문에 고생하는 사람 있으면 전송 코드 공유해 줄 수 있음.
