r/ChatGPT•12일 전•667•99

업데이트: ChatGPT를 활용해 590만 개의 채용 공고를 스크래핑했습니다

Update: I scraped 5.9 million jobs with ChatGPT

핵심 요약

ChatGPT API를 활용해 기업 채용 페이지에서 직접 데이터를 수집, 허위 공고를 걸러낸 채용 플랫폼 'Hiring.Cafe'를 구축했습니다.

데이터 수집 — ChatGPT API로 기업 채용 페이지의 비정형 데이터를 JSON으로 변환함
허위 공고 제거 — LinkedIn 등에서 흔한 대행사 광고나 유령 공고를 배제함
강력한 필터링 — 직무, 산업군, 연차, 관리직 여부 등 세밀한 검색 기능 제공
실시간 업데이트 — 하루 5회씩 채용 사이트 데이터를 주기적으로 스크래핑함

링크드인(LinkedIn)이랑 인디드(Indeed)가 유령 채용 공고랑 3자 해외 대행사들 때문에 쓰레기장 된 거 진짜 지긋지긋해서 못 봐주겠더라. 구직 활동 자체가 거의 불가능한 수준임.

대부분 회사가 자기네 홈페이지에 직접 채용 공고를 올린다는 걸 알아냈어. 최근까지만 해도 채용 페이지마다 구조랑 형식이 다 달라서 대규모로 긁어오는 게 거의 불가능했거든. 근데 챗GPT API 좀 만져보니까 도메인 이름만 싹 긁어서 던져주면 알아서 JSON 형식(연봉, 경력 연수 등)으로 깔끔하게 정리해주더라.

업데이트: 이 방식으로 지금까지 채용 공고 590만 개(원격 근무 22만 개 이상 포함)를 긁어왔고, 강력한 필터 기능도 만들었어. 혹시 관심 있으면 여기서 확인해봐. Hiring.Cafe

꿀팁: