GitHub 机器学习仓库持续刷新注册表
数据集简介
GitHub ML 的定位与用途
GitHub ML 是一份持续刷新的 GitHub 仓库注册表,收录范围覆盖机器学习各领域。它的核心目标不是给每个项目打分或背书,而是把散落在 GitHub 上的机器学习仓库整理成一份可审计的注册表,让使用者能够按统一字段检索、比对和追踪。数据集同时提供表格(Tabular)与文本(Text)两种模态,既便于结构化查询,也保留了描述、README 等文本证据。
注册表分为四个子集:current、candidates、repositories、observations。其中 current 是经过筛选的 curated 视图,应用 ml-contribution-v5 规则,专门寻找对机器学习模型、方法或技术有独特贡献的项目。
数据文件与规模
数据以 parquet、jsonl、json、md 等格式提供,公开可下载,可通过 HuggingFace 页面获取 parquet 文件,也可使用 Dataset Viewer 或 API 访问。整体规模在 1M–10M 行之间,各子集行数如下:
| 子集 | 行数 |
|---|---|
| current | 3.45k |
| candidates | 76.2k |
| observations | 3.65M |
| repositories | 1.89M |
current:经 ml-contribution-v5 筛选的精选视图
current 是注册表中经过筛选的视图,规则版本为 ml-contribution-v5。该规则关注项目是否对机器学习模型、方法或技术呈现出独特贡献,而非仅仅带有机器学习标签。由于筛选基于文本启发式,current 中的条目应被理解为“值得进一步查看的候选”,而不是经过人工核实的优质项目清单。
candidates:候选仓库与筛选信号
candidates 子集记录进入筛选流程的候选仓库,并保留与筛选相关的字段,例如 candidate_status、candidate_rule_version、candidate_eligible、candidate_reason、candidate_evidence 等。这些字段让使用者能够追溯某个仓库为何被纳入或排除,从而对筛选过程进行审计和复现。
repositories:仓库元数据主表
repositories 是仓库元数据的主表,字段覆盖仓库标识与属性,包括 github_id、name、url、description、topics、language、license、stars、forks、fork、archived、homepage、created_at、pushed_at、updated_at 等。此外还有 readme_blob_sha、readme_checked_at、readme_status、readme_sections、readme_signals 等 README 相关字段,以及 paper_ids、domains、methods、novelty_signals、evidence_signals、evidence_tier、evidence_version 等主题与证据字段。extra_json 用于承载额外信息。
observations:随时间累积的观测记录
observations 子集规模最大,记录仓库在不同时间点的观测结果,包含 observed_at、first_observed_at、observation_count 等字段,可用于追踪星标、描述、README 状态等属性随时间的变化。该子集与 repositories 配合,构成注册表的时序维度。
使用限制与许可
筛选与证据提取均基于文本启发式规则,而非人工核实,因此不能据此确认项目的原创性、正确性或可复现性。数据集许可标注为 other,公开可下载;使用前请核对 HuggingFace 页面上的许可说明。