十大SEO网站技术审计爬取数据

机器学习
0 下载
2 浏览
2026-10-24

数据集简介

项目缘起

这份数据来自一次针对头部 SEO 站点的自查式审计。项目方挑选了 10 个业内最知名的 SEO 与营销网站——Moz、Ahrefs、Semrush、Backlinko、Yoast、Search Engine Journal、Search Engine Roundtable、SE Ranking、Surfer 和 Neil Patel——用自托管的 Toadstone 爬虫做礼貌爬取,再把每一处可确认的页面级技术问题记录下来公开。整体结论是:这些站点大多表现优秀,但并非无懈可击。

主要发现

  • 全部 10 个站点合计记录 736 个问题,平均每 100 页 29.2 个。
  • 2,521 个页面中有 1,930 页(77%)通过了全部五项页面级检查。
  • 检查项覆盖断链、重定向链接、缺少 meta 描述、缺少 canonical、缺少 H1、多个 H1,以及内容图片缺少 alt 文字。
  • 爬取规模为 2,521 个 HTML 页面、15,326 个 URL、18,341 次请求。

各站点结果

各站点的分项统计存放在 data/sites.csv 中,逐页结果存放在 data/pages.csv 中,可以按站点、按页面类型或按问题类别自行汇总。原始仓库同时提供 backlinko-redirects.csv,单独列出 Backlinko 的重定向链接清单,便于复核该站的重定向情况。

未计入的问题及原因

并非所有爬取到的异常都会被算作问题。data/excluded-flags.csv 记录了未计入的标记及其原始数值,说明哪些页面特征在统计时被排除、排除时的原始计数是多少。这样处理是为了让 736 这个总数只包含可确认的页面级技术问题,避免把误报混入结论。

七个手工复核案例

项目方从结果中挑出七个例子,逐一用 curl 手工复核,复核日志保存在 data/evidence/curl-log.jsonl。这些案例用于验证爬虫判定与人工判断是否一致,也为使用者提供了可追溯的证据链。

仓库结构与复用方式

仓库按用途组织:data/ 存放站点统计、逐页结果与排除标记,charts/ 存放图表,docs/ 存放文档,scripts/ 存放脚本,self-audit/ 存放自审记录,story/ 存放叙述材料。数据文件以 CSV 和 JSONL 为主,另含 PNG 图表与 Markdown 文档。数据以 CC BY 4.0 免费复用,代码以 MIT 许可开放;公开仓库可直接免费下载,无需申请。

基本信息

记录数量未知
文件大小未知
文件格式CSV, JSONL, PNG, Markdown
数据来源spcaeo
附加格式JSONL、PNG、Markdown
数据许可CC BY 4.0
代码许可MIT
覆盖站点10个
页面数量2,521
数据落地页https://github.com/spcaeo/seo-experts-crawl-2026
发布日期2026-10-24
技术SEO网站审计爬虫数据断链检查页面质量

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费