AI爬虫User-Agent开放数据集
数据集简介
为什么存在这个数据集
随着 AI 爬虫和智能体越来越多地访问网站,网站运营者需要一种清晰、可核对的方式来识别这些流量。本数据集旨在提供一份开放、机器可读的清单,涵盖所有已知的 AI 爬虫和智能体 user-agent 字符串,并说明每个爬虫的运营方、实际用途以及是否在实践中遵守 robots.txt。
快速开始
数据集以 JSON 和 CSV 两种格式提供,可直接下载或通过实时端点访问。实时端点始终返回最新版本,适合需要最新数据的应用;仓库中的文件为周期性快照,适合需要稳定引用的场景。
数据结构
JSON 格式的顶层字段包括:
name:数据集名称description:数据集描述source:数据来源documentation:文档链接license:许可证信息attribution:署名要求lastVerified:最近复核日期count:收录的爬虫数量
crawlers[] 数组中的每条记录包含以下字段:
userAgent:user-agent 字符串slug:唯一标识符operator:运营方(如 OpenAI、Anthropic、Google)purpose:用途(training / search / both)description:描述robotsCompliance:是否遵守 robots.txtrobotsNote:关于 robots.txt 的备注docsUrl:文档 URLipRangeUrl:IP 范围 URLcrawlDelay:爬取延迟crawlDelayNote:爬取延迟备注url:相关链接
关于 crawlDelay 的说明
crawlDelay 字段记录了爬虫建议或要求的爬取延迟,crawlDelayNote 提供补充说明。不同爬虫的延迟策略可能不同,网站运营者可根据这些信息调整自己的 robots.txt 配置。
关于 robotsCompliance 的说明
robotsCompliance 字段反映了爬虫是否遵守 robots.txt。根据事实卡,28 个运营方中只有 4 个明确表态,其中 2 个支持遵守。这一信息有助于网站运营者了解哪些爬虫可能无视 robots.txt,从而做出更明智的访问控制决策。
保持更新
本列表每月复核一次,lastVerified 字段记录了最近一次复核的日期。实时端点始终指向最新版本,适合需要最新数据的场景;仓库文件为周期性快照,适合需要稳定引用的场景。
贡献
欢迎社区贡献,帮助补充新的 AI 爬虫或更新现有记录。请通过 GitHub 仓库提交 issue 或 pull request。
许可
数据集采用 CC BY 4.0 许可,可免费商用,仅需保留署名。
相关资源
每个爬虫记录中提供了 docsUrl 和 ipRangeUrl 字段,分别指向官方文档和 IP 范围信息,方便进一步核实。
关于
本数据集由 osamamumtaz01 维护,数据来源包括 OpenAI、Anthropic、Google 等运营方的公开信息。