Hugging Face 开源模型演化与下载量追踪数据集

机器学习
0 下载
32 浏览
2025-11-27

数据集简介

研究背景与数据用途

开源模型生态正在经历深刻的权力与参与格局变化。该数据集由 Shayne Longpre、Christopher Akiki、Campbell Lund、Atharva Kulkarni、Emily Chen、Irene Solaiman、Avijit Ghosh、Yacine Jernite、Lucie-Aimée Kaffee 等研究者随论文《Economies of Open Intelligence: Tracing Power & Participation in the Model Ecosystem》(arXiv:2512.03073)发布,旨在追踪开源模型生态的集中化动态与演化特征,为研究开源模型经济中的权力分布与参与结构提供数据基础。作者在论文中写道,通过发布完整的每周模型下载量历史与模型元数据,他们提供了迄今为止对开源模型经济集中化动态与演化特征最严谨的考察。

数据内容与规模

数据集的核心是 Hugging Face Model Hub 每周模型下载量的完整历史,时间跨度为 2020 年 6 月至 2025 年 8 月,同时附带每个模型的元数据。整体规模包括:

  • 851,000 个模型
  • 每个模型 200 余项聚合属性
  • 累计约 22 亿次下载记录

数据模态为表格与文本,适合开展模型属性与下载趋势的统计分析。

主要字段

数据表包含以下关键字段:

  • 标识与时间:_id、model、author、time、created
  • 下载量统计:downloadsAllTime
  • 组织属性:annotator、org_model、org_type、org_country、org_country_single
  • 衍生关系:derived_author、derived_org_country、derived_org_country_single
  • 合并归类:merged_country_groups_single、merged_derived_country_groups_single、merged_derived_from、merged_languages、merged_modality
  • 索引列:__index_level_0__

其中衍生与合并类字段可用于分析模型间的衍生关系、语言分布与模态构成,组织类字段则支撑对发布主体集中度与地域分布的研究。

获取与使用方式

数据集托管于 Hugging Face(mmpr/open_model_evolution_data),公开免费访问。全部数据以 parquet 格式提供,可通过 Datasets、Dask、Polars 等常见数据处理库直接加载。作者同时发布了交互式仪表盘,用于对开源模型经济集中化动态与演化属性进行实时监测。

引用

论文编号:arXiv:2512.03073。

基本信息

记录数量未知
文件大小未知
文件格式parquet
数据来源mmpr
数据模态表格、文本
时间跨度2020-06 至 2025-08
模型数量851,000
下载量22 亿次
访问方式公开免费
论文编号arXiv:2512.03073
数据落地页https://huggingface.co/datasets/mmpr/open_model_evolution_data
发布日期2025-11-27
开源模型模型生态Hugging Face下载量模型元数据

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费