Harpd AI 市场与工具研究数据集
数据集简介
这个项目解决什么问题?
AI 行业研究与市场分析中,结论的可信度往往难以验证:数字来源不明、计算过程不透明,甚至可能由语言模型生成或人工编造。Harpd AI Research Notebooks 针对这一痛点,提供完全可复现的 Jupyter notebooks 和生成的研究报告,所有内容均基于 Harpd 公开发布的开放数据集计算。正如仓库所述:"Every number in this repository comes from a pandas operation over published data"——仓库中的每一个数字都来自对已发布数据的 pandas 操作。
为什么会有这个项目?
项目存在的意义在于让 AI 市场研究摆脱黑箱:数据全部来自 Harpd 已发布的开放数据集(CC BY 4.0)以及两个配套基准仓库,研究者可以逐行核对每个结论的推导过程。由于 notebooks 的执行输出已提交到仓库中,即使不运行代码也能直接查看计算结果,而运行者可以用相同的数据与代码复现出完全一致的报告。
使用了哪些数据?
数据以 JSON 格式组织,主要文件包括:
data/products/products.json—— 产品数据,共 1,122 条data/rankings/overall.json—— 总体排名数据data/research/ai-market-index.json—— AI 市场指数data/research/ai-agent-index.json—— AI 智能体指数,共 334 条data/research/developer-tools-index.json—— 开发者工具指数,共 1,918 条data/research/ai-tools-index.json—— AI 工具指数data/research/research.json—— 研究数据data/evidence/evidence.json—— 证据数据
所有数据均来自 Harpd 已发布的开放数据集,采用 CC BY 4.0 许可。
Notebooks
仓库包含 7 个已执行的 Jupyter notebooks(notebooks/ 目录,输出已提交),涵盖 AI 市场、产品排名、智能体、开发者工具等数据切片的研究计算。每个 notebook 对应 reports/ 目录下生成的研究报告,研究支撑代码位于 harpd_research/ 目录。由于每个数字都可追溯到对已发布数据的 pandas 操作,用户可以直接审计算法与分析逻辑。
如何运行?
仓库公开免费,获取后通过以下方式运行:
- 安装依赖:
pip install -r requirements.txt - 使用 Make 命令复现:
make reports/make notebooks/make test
离线运行
项目支持离线运行:由于数据文件已随仓库提供,且 notebook 输出已提交,用户可在无网络环境下直接阅读结果,或基于本地数据重新执行计算。
如何使用输出结果?
生成的报告位于 reports/ 目录,可作为 AI 市场、产品排名、智能体与开发者工具研究的可引用材料。研究者也可以在此基础上编写自己的 notebook,对同一批开放数据做进一步切片分析。
仓库结构
data/ 开放数据集(products、rankings、research、evidence 等 JSON 文件)
notebooks/ 7 个已执行的 notebooks(输出已提交)
reports/ 生成的研究报告
harpd_research/ 研究支撑代码
许可与获取
数据采用 CC BY 4.0 许可,仓库在 GitHub 上公开免费:https://github.com/harpd-dev/harpd-ai-research-notebooks