Claude Code에 1,100만 건의 뉴스 기사 데이터베이스를 분석시켰더니 이상한 패턴들이 발견됨

밤낮이랑 주말 갈아 넣어서 만든 사이드 프로젝트(클로드랑 나랑 둘이서 함): 40개 언어, 4만 개 넘는 소스에서 하루에 뉴스 기사 10만 개씩 긁어와서 같은 사건끼리 묶어주는 파이프라인임. 164일 동안 기사 11,079,667개가 쌓였길래, 데이터베이스 덤프랑 질문 리스트를 클로드 코드(Claude Code)한테 던져주고 알아서 분석해보라고 시켰다.

분석 결과:

• 12:1 비율: 실제로 일어난 사건 하나당 기사가 12개씩 쏟아짐

• 10건 중 4건: 다음 날 후속 보도가 아예 안 나옴

• 어느 세계적 지도자 한 명은 하루 평균 84개의 새로운 사건에 등장함. 그다음으로 많이 언급되는 인물 5명을 다 합친 것보다 많음

• 0.08%: LLM 판정 기준으로 "특이함"으로 분류된 사건은 고작 이 정도. 뉴스 대부분은 그냥 뻔하고 지루한 내용임

• 가장 크게 터진 사건: 무려 1,540개 매체가 동시에 다룸 (어떤 사건인지 맞춰봐라, 아마 틀릴걸)

클로드의 분석 방식: 일단 우리가 몇 달 동안 이 프로젝트에 대해 나눴던 대화들을 바탕으로 패턴 가설을 쫙 뽑아냄. 그러고 나서 덤프 파일에 대해 엄청나게 긴 쿼리들을 날리고, 실시간 API랑 대조해서 수치 검증까지 마친 뒤에 차트랑 결과 페이지까지 직접 다 만들더라.

내가 한 건 수치 하나하나 검토하고, 다시 보니까 별로인 결과 2개랑 너무 프로젝트 내부 사정에만 치우친(뉴스 자체에 대한 통찰이라기엔 좀 그런) 내용들 쳐내고, 문구 다듬은 게 전부임.

파이프라인 자체는 내 코드고, 몇 달 동안 클로드랑 다른 툴 써서 만들었음. /world랑 /observatory 페이지는 거의 클로드가 다 만든 거나 다름없다.

아쉬웠던 점: 클로드가 데이터에서 유의미한 패턴을 꽤 찾아내긴 했는데, 상당수가 그냥... 재미가 없었음. 아니면 나만 재밌는 수준? 프로젝트 돌아가는 방식에 너무 매몰된 분석들이라(예: 평균적인 클러스터가 진행 중인 상황의 일부가 되기까지 걸리는 시간 같은 거), 뉴스 자체에 관심 있는 일반 대중들한테는 좀 별로였음.

전체 차트랑 분석 방법은 여기서 확인 가능: