Codex로 710만 개의 채용 공고를 스크래핑했습니다
I scraped 7.1 million jobs with Codex
핵심 요약
LinkedIn과 Indeed의 허위 공고에 지친 개발자가 직접 회사 채용 페이지를 스크래핑하여 710만 개의 공고를 모은 구인 사이트를 구축함.
- 채용 공고 스크래핑 — Codex와 GPT-4o-mini를 활용해 회사별 채용 페이지에서 직접 데이터를 수집함.
- 허위 공고 해결 — LinkedIn 등 대형 플랫폼의 유령 공고를 배제하고 실제 채용 정보만 제공함.
- Hiring.Cafe 공개 — 710만 개의 공고와 강력한 필터를 갖춘 구인 사이트를 무료로 배포함.
- 오픈 소스 공유 — 스크래핑에 사용된 프롬프트를 깃허브에 공개하여 누구나 활용 가능하게 함.
LinkedIn과 Indeed가 유령 공고와 3자 파견 업체들로 오염되어 탐색이 거의 불가능해진 것에 진절머리가 났습니다.
대부분의 회사가 채용 공고를 자사 웹사이트에 직접 올린다는 사실을 발견했습니다. 최근까지는 회사마다 채용 페이지의 구조와 형식이 달라 대규모 스크래핑이 불가능했습니다. Codex CLI를 가지고 놀다가, 회사 이름 목록을 던져주고 채용 페이지를 찾아 모든 공고를 긁어오라고 시키면 효과적이라는 걸 깨달았습니다. 그 후 GPT-4o-mini를 사용해 JSON 형식(연봉, 경력 등)으로 정보를 추출했습니다.
업데이트: 이제 이 기술을 사용해 710만 개의 공고(원격 근무 공고 22만 개 이상 포함)를 스크래핑했고 강력한 필터를 구축했습니다. 관심 있으신 분들을 위해 공개했습니다 (Hiring.Cafe).
꿀팁:
-
"채용 필터"에서 여러 직무와 직군을 선택(또는 제외)할 수 있습니다.
-
특정 산업 및 분야를 필터링하거나 제한할 수 있습니다 (회사 -> 산업/키워드).
-
IC(개별 기여자) 대 관리직 역할을 선택할 수 있으며, 각 옵션에 대해 원하는 경력 연차(YOE)를 선택할 수 있습니다.
-
... 그 외에도 많습니다.
수정: 긍정적인 피드백 주셔서 정말 감사합니다. 제 진행 상황은 여기서 팔로우할 수 있습니다: r/hiringcafe
수정 2: 프롬프트를 오픈소스로 공개합니다 https://gist.github.com/hamedn/b8bfc56afa91a3f397d8725e74596cf2
