1,100만 건의 뉴스 기사를 Claude Code에 넣었더니 보이기 시작한 것들
하나의 사건이 벌어지면 그 뒤를 따라붙는 기사가 몇 개일까. 하나? 둘? 실제 숫자는 열두 개다. 무언가 실제로 일어난 일 하나당 평균 12건의 기사가 쓰인다. r/ClaudeCode에 올라온 한 게시글에서 꺼내온 숫자인데, 이상하게 오래 남는다.
u/conurbano가 밤과 주말을 갈아 넣어 만든 사이드 프로젝트가 그 답의 출처다. 하루 약 10만 건의 뉴스 기사를 4만 개가 넘는 매체에서 읽어오고, 40개 언어로 쏟아지는 coverage를 같은 사건끼리 묶는 파이프라인. 164일을 돌리고 나니 1,107만 9,667건이 쌓였다. 여기까지가 전채다. 본론은 이 데이터베이스 내보내기를 Claude Code에 넘기고 질문 목록을 던진 순간부터 시작된다.
데이터가 말해주는 것들
Claude가 찾아낸 패턴 몇 개는 뉴스라는 매체의 생태를 그대로 드러낸다.
기사 열두 개가 하나의 사건을 두고 경쟁한다는 것, 그러니까 같은 이야기를 열두 번 다시 쓰는 셈이라는 건 앞에서 봤다. 더 흥미로운 건 지속성이다. 열 건 중 네 건은 이튿날 후속 보도가 아예 없다. 어제까지 대문짝만 했던 사건이 다음 날 조용히 사라진다. 뉴스 피드가 반복적이라는 불편함과 일회성이라는 허전함이 같이 살아 있는 셈이다.
특정 인물의 존재감도 극단적이다. 어느 한 세계 지도자는 평균적으로 매일 약 84건의 새로운 사건에 등장한다. 2위부터 5위까지 네 명을 합친 것보다 많다. 이름을 특정하지 않았지만, 짐작 가는 사람은 대충 짐작할 것이다.
그리고 단일 사전 최다 참여 기록. 하나의 사건에 1,540개 매체가 기사를 냈다. 원문은 “어느 사건인지 맞혀보라, 아마 틀릴 것”이라고 놓아두었다. 예상과 다른 사건이었다는 얘기다.
이 중 LLM 심판이 ‘예외적’이라고 판정한 사건은 0.08%에 불과하다. 나머지는 대부분 평범한 중간지대. 뉴스의 실체는 특종이 아니라 일상의 누적이라는, 어쩌면 당연한데 확인하면 묘한 결론이다.
일의 분배
이 글에서 정말 눈여겨볼 대목은 숫자가 아니라 일이 어떻게 나뉘었는가다.
Claude Code는 먼저 두 사람이 지난 몇 달간 나눴던 프로젝트 대화를 바탕으로 가설 목록을 스스로 세웠다. 그다음 데이터베이스에 긴 쿼리를 쏘고, 라이브 API와 대조하며 자기 숫자를 검증했고, 차트와 결과 페이지까지 만들었다.
사람이 한 일은? 모든 숫자를 직접 검토하고, 두 번 다시 보아도 살아남지 못한 발견 두 개를 버리고, 나머지도 일반적인 관찰이 아닌 프로젝트 내부 사정에 불과한 것들을 걷어냈다. 그리고 문장을 다시 썼다. 발견은 많았지만 상당수는 ‘이 프로젝트 안에서만 의미 있는 사실’이었다는 게 작성자의 평가다. 흥미로운 것과 그냥 참인 것은 다르다는 지점을 가려내는 건 끝까지 사람의 몫으로 남았다.
한 가지 오해는 풀어둬야 한다. Claude가 1,100만 건의 기사 본문을 전부 은 게 아니다. 임베딩 비교와 휴리스틱, 마지막 LLM 판정을 거쳐 클러스터링을 마친 집계 데이터를 다룬 것이다. 파이프라인은 사람의 코드고, /world와 /observatory 페이지는 대부분 Claude의 몫이었다는 구분도 명확히 했다.
왜 주목할까
데이터 저널리즘의 진입장벽이 무너지고 있다는 신호로 읽힌다. 예전이라면 팀을 꾸리고 몇 달을 쏟아야 했을 탐사 보도가, 개인과 에이전트의 조합으로 주말 프로젝트가 됐다. 물론 그 뒤에는 164일 동안 묵묵히 데이터를 쌓은 파이프라인이 있다. 도구가 대체한 건 분석의 손이지, 데이터를 모으는 인내가 아니다.
또 하나는 검증의 문법이다. 결과물을 통째로 믿지 않고 숫자 하나하나를 검토했고, 살아남지 못한 발견은 버렸다. “버린다”는 선택이 에이전트 시대의 핵심 기술이 되는 시점이 온 것 같다.
이 모든 결과는 clstr.news/observatory에서 볼 수 있고, 실시간 세계 뉴스 지도는 clstr.news/world에 있다. 파이프라인이 만든 데이터는 무료 API와 MCP 서버로도 열려 있으니, Claude에 https://mcp.clstr.news/ 하나만 붙여도 쓸 수 있다.
정리
1,100만 건의 뉴스에서 나온 이야기는 두 겹이다. 하나는 뉴스 자체에 대한 것 — 사건 하나에 기사 열두 개, 사라지는 후속 보도, 특정 인물의 압도적 점유율. 다른 하나는 일하는 방식에 대한 것 — 가설을 세우고 쿼리를 돌리는 건 에이전트가, 흥미로움을 판정하고 걸러내는 건 사람이.
데이터는 결국 도구가 쌓고, 의미는 사람이 고른다. 이 글이 증명한 건 그게 이제 혼자서도 가능하다는 사실이다.