AI爬虫User-Agent开放数据集

自然语言
0 下载
22 浏览
2026-09-13

数据集简介

为什么存在这个数据集

随着 AI 爬虫和智能体越来越多地访问网站,网站运营者需要一种清晰、可核对的方式来识别这些流量。本数据集旨在提供一份开放、机器可读的清单,涵盖所有已知的 AI 爬虫和智能体 user-agent 字符串,并说明每个爬虫的运营方、实际用途以及是否在实践中遵守 robots.txt。

快速开始

数据集以 JSON 和 CSV 两种格式提供,可直接下载或通过实时端点访问。实时端点始终返回最新版本,适合需要最新数据的应用;仓库中的文件为周期性快照,适合需要稳定引用的场景。

数据结构

JSON 格式的顶层字段包括:

  • name:数据集名称
  • description:数据集描述
  • source:数据来源
  • documentation:文档链接
  • license:许可证信息
  • attribution:署名要求
  • lastVerified:最近复核日期
  • count:收录的爬虫数量

crawlers[] 数组中的每条记录包含以下字段:

  • userAgent:user-agent 字符串
  • slug:唯一标识符
  • operator:运营方(如 OpenAI、Anthropic、Google)
  • purpose:用途(training / search / both)
  • description:描述
  • robotsCompliance:是否遵守 robots.txt
  • robotsNote:关于 robots.txt 的备注
  • docsUrl:文档 URL
  • ipRangeUrl:IP 范围 URL
  • crawlDelay:爬取延迟
  • crawlDelayNote:爬取延迟备注
  • url:相关链接

关于 crawlDelay 的说明

crawlDelay 字段记录了爬虫建议或要求的爬取延迟,crawlDelayNote 提供补充说明。不同爬虫的延迟策略可能不同,网站运营者可根据这些信息调整自己的 robots.txt 配置。

关于 robotsCompliance 的说明

robotsCompliance 字段反映了爬虫是否遵守 robots.txt。根据事实卡,28 个运营方中只有 4 个明确表态,其中 2 个支持遵守。这一信息有助于网站运营者了解哪些爬虫可能无视 robots.txt,从而做出更明智的访问控制决策。

保持更新

本列表每月复核一次,lastVerified 字段记录了最近一次复核的日期。实时端点始终指向最新版本,适合需要最新数据的场景;仓库文件为周期性快照,适合需要稳定引用的场景。

贡献

欢迎社区贡献,帮助补充新的 AI 爬虫或更新现有记录。请通过 GitHub 仓库提交 issue 或 pull request。

许可

数据集采用 CC BY 4.0 许可,可免费商用,仅需保留署名。

相关资源

每个爬虫记录中提供了 docsUrl 和 ipRangeUrl 字段,分别指向官方文档和 IP 范围信息,方便进一步核实。

关于

本数据集由 osamamumtaz01 维护,数据来源包括 OpenAI、Anthropic、Google 等运营方的公开信息。

基本信息

记录数量28 个爬虫条目
文件大小未知
文件格式JSON, CSV
数据来源osamamumtaz01
许可协议CC BY 4.0
收录数量28 个爬虫条目
更新频率每月复核
数据落地页https://github.com/osamamumtaz01/ai-crawler-user-agents
发布日期2026-09-13
AI爬虫user-agentrobots.txt开放数据GPTBot

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费