r/OpenAI•약 10시간 전•7•6
ChatGPT의 진가를 다시 보게 된 웹 스크래핑 작업 경험
A web scraping task that made me appreciate ChatGPT more
핵심 요약
복잡한 웹 스크래핑 문제 해결 과정에서 Claude보다 뛰어난 추론 능력을 보여준 ChatGPT에 대한 개발자의 후기입니다.
- 웹 스크래핑 작업 — 복잡한 사이트의 데이터를 구조화된 JSON으로 추출하는 과정에서 ChatGPT가 Claude보다 우수한 문제 해결 능력을 보임
- 접근 방식 차이 — 첫 번째 장애물에서 막히지 않고 다양한 우회 경로를 스스로 탐색하여 해결책을 찾아냄
- 도구 활용 — Playwright와 실제 브라우저 기반 스크립트를 활용하여 기술적 난관을 극복함
- 사용자 경험 공유 — 비즈니스 운영 및 복잡한 문제 해결에 있어 ChatGPT가 다른 모델들보다 점차 우위를 점하고 있다는 공감대가 형성됨
나 개발자인데, 대형 이커머스 사이트에서 전체 상품 카탈로그 싹 다 긁어와서 깔끔하게 JSON으로 정리해야 할 일이 있었거든.
처음엔 Claude Code 써봤는데, Akamai 보안에 바로 막히더라. 해결책도 못 찾고, 그런 보안 우회하는 건 도와줄 수 없다고 딱 잘라 말하더라고.
그래서 이번엔 ChatGPT Plus 구독 중인 GPT Astra를 써봤지.
근데 접근 방식부터가 달라서 좀 놀랐음. 단계별로 차근차근 고민하면서 다른 방법들까지 고려하더니, 결국엔 해결할 방법을 찾아내더라.
코딩할 때 AI 툴 진짜 많이 써봤지만, 이번 경험은 좀 남달랐음. 웹 스크래핑이나 리서치 같은 거 할 때, 첫 번째 장애물에서 막히지 않고 복잡한 문제를 끝까지 파고드는 능력이 진짜 큰 차이를 만드는 듯.
이 경험 이후로 이런 작업 할 땐 무조건 ChatGPT부터 찾게 됨.
그냥 내 경험 공유해 봄. 얘가 해낸 거 보고 진짜 감탄했다.
