十大SEO网站技术审计爬取数据
数据集简介
项目缘起
这份数据来自一次针对头部 SEO 站点的自查式审计。项目方挑选了 10 个业内最知名的 SEO 与营销网站——Moz、Ahrefs、Semrush、Backlinko、Yoast、Search Engine Journal、Search Engine Roundtable、SE Ranking、Surfer 和 Neil Patel——用自托管的 Toadstone 爬虫做礼貌爬取,再把每一处可确认的页面级技术问题记录下来公开。整体结论是:这些站点大多表现优秀,但并非无懈可击。
主要发现
- 全部 10 个站点合计记录 736 个问题,平均每 100 页 29.2 个。
- 2,521 个页面中有 1,930 页(77%)通过了全部五项页面级检查。
- 检查项覆盖断链、重定向链接、缺少 meta 描述、缺少 canonical、缺少 H1、多个 H1,以及内容图片缺少 alt 文字。
- 爬取规模为 2,521 个 HTML 页面、15,326 个 URL、18,341 次请求。
各站点结果
各站点的分项统计存放在 data/sites.csv 中,逐页结果存放在 data/pages.csv 中,可以按站点、按页面类型或按问题类别自行汇总。原始仓库同时提供 backlinko-redirects.csv,单独列出 Backlinko 的重定向链接清单,便于复核该站的重定向情况。
未计入的问题及原因
并非所有爬取到的异常都会被算作问题。data/excluded-flags.csv 记录了未计入的标记及其原始数值,说明哪些页面特征在统计时被排除、排除时的原始计数是多少。这样处理是为了让 736 这个总数只包含可确认的页面级技术问题,避免把误报混入结论。
七个手工复核案例
项目方从结果中挑出七个例子,逐一用 curl 手工复核,复核日志保存在 data/evidence/curl-log.jsonl。这些案例用于验证爬虫判定与人工判断是否一致,也为使用者提供了可追溯的证据链。
仓库结构与复用方式
仓库按用途组织:data/ 存放站点统计、逐页结果与排除标记,charts/ 存放图表,docs/ 存放文档,scripts/ 存放脚本,self-audit/ 存放自审记录,story/ 存放叙述材料。数据文件以 CSV 和 JSONL 为主,另含 PNG 图表与 Markdown 文档。数据以 CC BY 4.0 免费复用,代码以 MIT 许可开放;公开仓库可直接免费下载,无需申请。