Claude에게 920만 개의 뉴스 기사를 분석해달라고 요청해 본 결과

정말 흥미롭네요, 감사합니다!

감사합니다!

뉴스 사용료는 지불하셨나요? (뉴스 회사들이 통계적 용도로만 사용해도 로열티를 원한다는 걸 알아서 물어보는 겁니다)

대부분의 데이터는 유료 뉴스/데이터 API를 통해 들어옵니다. 그리고 CLSTR은 기사를 재배포하지 않고, 보도 내용에 대한 짧은 요약과 각 출처로 연결되는 링크만 제공하므로, 기사를 대체하는 대신 독자들을 해당 언론사로 보내주는 역할을 합니다.

겨우 12라고요? 체감상 200:1은 되는 것 같은데. 12라는 숫자는 80/20 법칙을 따르는 평균치일지도 모르겠네요.

실제 세상에서 12개뿐이라는 건 절대 아님. 이건 내가 작업 중인 데이터셋일 뿐이고 전체 글로벌 규모에 비하면 아주 작은 부분임(지금 더 늘리려고 작업 중). '실제' 비율은 훨씬 더 높을 거라는 데 동의함.

와, 뉴스 구독료 장난 아니겠는데. 그 수많은 페이월(paywall)은 다 어떻게 뚫은 거야? 혹시 Factiva 구독이라도 하는 거임?

스크래핑은 전혀 안 하고 있고 페이월 우회 같은 것도 안 함. 여러 API와 엔드포인트(공개 및 비공개)에서 뉴스를 가져오는 중임.

이걸로 돈을 받으면서 출처 목록은 공개하지 않으시네요. 그런 정보 없이 누가 이걸 진지한 작업에 쓰겠어요? 그냥 스크래핑을 하거나 에이전트를 보내서 웹 검색을 돌리는 거라면, 돈은 어디에 쓰이는 거죠? 진짜 궁금해서 묻는 겁니다, 비꼬려는 게 아니에요. 정보가 더 공개된다면 아주 유용하고 돈을 낼 가치가 있을지도 모르겠네요.

타당한 질문입니다! 전혀 비꼬는 거 아니에요.

출처에 관하여: 사이트의 모든 이벤트(클러스터)는 어떤 언론사가 보도했는지 보여주며, 각 원문 기사로 연결되는 링크가 있어서 기사별로 출처를 확인할 수 있습니다.
현재 제가 가지고 있지 않은 건 약 4만 개의 도메인 전체 목록인데, 진지하게 작업하시는 분들이라면 원할 수 있다는 점은 맞습니다. 어떻게든 접근 가능하게 만들 방법을 찾아볼게요(적어도 양이 많은 상위 출처들은요), 그렇게 어렵지는 않을 겁니다.

돈이 어디에 쓰이는지: 분명히 말씀드리자면, CLSTR은...