HuggingFace 模型雷达数据集
数据集简介
Radar HuggingFace Dataset
Radar HuggingFace Dataset 是一个开放数据集,旨在系统性地记录 HuggingFace 模型生态。它由 HF//RADAR 项目生成,每天更新三次,提供经过整理和规范化的模型元数据。数据集的官方描述为:
“Dataset abierto de modelos de HuggingFace: metadatos curados y normalizados, licencias clasificadas, parámetros reales, tumbas de modelos retirados y ficha técnica en castellano por modelo.”
即:这是一个 HuggingFace 模型开放数据集,包含经过整理和标准化的元数据、分类的许可证、真实参数数量、已下架模型的记录,以及每个模型的西班牙语技术说明卡。
El fin de la investigación
该数据集的主要目的是支持对 HuggingFace 模型生态的研究。通过提供结构化的元数据,研究者可以追踪模型的发布、更新和下架情况,分析许可证分布、参数规模趋势,以及模型在不同基准上的表现。数据集的“模型坟墓”(tumbas de modelos retirados)功能尤其有价值,它记录了已从 Hub 移除的模型,为研究模型生命周期提供了独特视角。
Cómo se estructura data/
数据目录 data/ 按作者(组织)分目录组织。每个模型包含两个文件:
.json文件:包含模型的元数据,遵循SCHEMA.md(版本 1)定义的结构。字段包括:- 许可证分类(licencia clasificada)
- 真实参数数量(parámetros reales)
- 模型格式(formatos)
- 基准测试结果(benchmarks)
- 关键性能指标(KPIs)
- 访问标志(flags de acceso)
- 下架标志(flags de retirada)
.md文件:每个模型的西班牙语技术说明卡(ficha técnica en castellano),提供人类可读的模型描述。
此外,仓库根目录包含一个 index.json 文件,作为轻量清单(manifiesto ligero),列出所有模型的基本信息,便于快速浏览。
Cómo se actualiza
数据集采用增量更新机制,每天执行三次(“Actualización incremental 3 veces al día”)。这意味着模型元数据会定期刷新,以反映 HuggingFace Hub 上的最新状态,包括新增模型、参数变化、许可证调整以及模型下架。这种高频更新确保了数据的时效性。
Quickstart
要快速开始使用该数据集,用户可以:
- 克隆或下载 GitHub 仓库(
https://github.com/686f6c61/radar-huggingface-dataset)。 - 浏览
data/目录,按作者查找感兴趣的模型。 - 使用
index.json获取模型列表的快速概览。 - 对于批量分析,可以下载
models.jsonl.gz文件,该文件提供了所有模型的批量导出(bulk export),便于加载到数据处理工具中。
Versionado
数据集通过带版本号的不可变发布(releases)提供历史快照。每个发布版本对应一个特定时间点的数据状态,确保研究者可以回溯历史数据,进行时间序列分析。这种版本化机制保证了数据的可复现性。
Licencia y atribución
该数据集采用 CC-BY-4.0 许可证。数据按“原样”(as-is)提供,不提供任何保证。使用时需要链接到仓库或雷达项目(HF//RADAR)。元数据的来源是 HuggingFace Hub,技术说明卡由 HF//RADAR 生成。数据集免费公开下载,可通过 GitHub 原始文件或发布版本中的 models.jsonl.gz 获取。