AI FOMO 指数:AI 新闻节奏开放数据集
数据集简介
研究呈现的内容
AI FOMO Index 关注的是 AI 信息环境的变化速度,而不是单条新闻的热度。项目把四类信号合成一个 0–100 的指数:新闻速度、AI 实验室活跃度、社区关注度与话题突增。指数方法 v1.1.0 以最近七天对比前 28 天的平均周,经比值变换后按 0.30/0.25/0.25/0.20 加权合成 FOMO 分数。
数据覆盖 Hacker News 及 OpenAI、Anthropic、DeepMind、Hugging Face、Mistral、Stability AI、Runway、Black Forest Labs、World Labs、Wayve、Boston Dynamics、Agility Robotics 等实验室来源,历史回溯自 2022-10-01。按来源分年度记录数如下(2022 年仅一个季度,2026 年截至 10 月初):
| 来源 | 2022 | 2023 | 2024 | 2025 | 2026 |
|---|---|---|---|---|---|
| openai | 7 | 65 | 162 | 333 | 464 |
| anthropic | 0 | 25 | 37 | 97 | 101 |
| deepmind | 11 | 26 | 27 | 49 | 77 |
| huggingface | 32 | 153 | 190 | 206 | 179 |
| mistral | 0 | 4 | 19 | 32 | 28 |
| stability | 6 | 44 | 40 | 20 | 5 |
| runway | 1 | 5 | 7 | 6 | 5 |
| bfl | 0 | 0 | 4 | 11 | 13 |
| worldlabs | 0 | 0 | 3 | 5 | 10 |
| wayve | 2 | 9 | 7 | 10 | 9 |
| bostondynamics | 2 | 13 | 23 | 13 | 21 |
| agility | 1 | 5 | 19 | 12 | 18 |
2026-10-04 的修订新增 469 条故事。
自己动手复现
仓库提供 /pipeline 生成流程,公开底层 AI 新闻语料、公式、历史回溯与敏感性检验。复现基线无需 API key,可直接从 GitHub 仓库 data/ 目录下载 index.json 供应用与网站读取,Markdown 文件则是可 fork 的人类可读源。静态导出物包括 /fomo.json、/research.json、/report.pdf、/feed.json、/badge.json 与 /og.png。
记录是生成产物,points、coverage 与历史重建都可能被修订;复现结果时建议固定仓库 commit。每次 GitHub release 归档于 Zenodo,DOI 为 10.5281/zenodo.23144696。
基线方法 v1.1.0
指数以最近七天对比前 28 天平均周,经比值变换后按 0.30/0.25/0.25/0.20 加权合成 FOMO 分数。四类信号分别对应新闻速度、AI 实验室活跃度、社区关注度与话题突增。
证据与局限
数据文件布局如下:
- data/news/YYYY/MM/DD/
- .md:每条一个 Markdown 文件(frontmatter + summary) - data/index.json:按时间倒序、包含全部条目的机器可读索引
- data/seen.json:去重记录,item id → 首次出现时间戳
- data/coverage.json:各来源声明的采集起始边界(historyFrom 2022-10-01)
- semantic/annotations.jsonl:仅追加的标题标注日志(记录 ID、请求 SHA-256、rubric 哈希、模型/版本、时间戳、原始 Jev 响应)
- semantic/summary.json、semantic/failures.jsonl
字段 id 为规范化 URL 的 12 位哈希(http 视同 https,去除追踪参数);points 是条目在 Hacker News 上的得分;publishedAt 为 ISO 8601 UTC 时间,2026-10-03 前约 2000 条实验室源记录保留 RFC 2822 字符串;importance 混合旧模型与启发式标注,并非人工金标准。
已知覆盖缺口记录在 data/README 中,修订历史同样在 data/README 的 Revisions 小节维护。
数据复现与许可
数据集采用 CC BY 4.0 许可,pipeline 代码为 MIT。公开免费获取:GitHub 仓库 data/ 目录可直接下载,index.json 供应用与网站读取,Markdown 为可 fork 的人类可读源;静态导出物含 /fomo.json、/research.json、/feed.json、/report.pdf。每次 GitHub release 归档于 Zenodo(DOI 10.5281/zenodo.23144696)。
Jev 标题标注说明
semantic/annotations.jsonl 是仅追加的标题标注日志,记录 ID、请求 SHA-256、rubric 哈希、模型/版本、时间戳与原始 Jev 响应;semantic/summary.json 与 semantic/failures.jsonl 配套存放汇总与失败记录。