编码智能体默认工具选择行为运行数据

机器学习
0 下载
3 浏览
2026-10-27

数据集简介

仓库内容与文件组织

仓库围绕「智能体默认选什么工具」这一问题组织,提供多种粒度的数据文件:

  • data/runs.json:逐次运行记录,包含模型、技术栈、提示词、安装内容、证据、token 用量、成本以及智能体最后一条消息。
  • data/runs.csv:与 runs.json 内容一致,展平为一行一次运行,便于表格工具直接读取。
  • data/picks-summary.csv:按类别汇总每个工具被选择的次数,三个模型合并统计。
  • data/categories/*.json:分类报告,含提示词、起始仓库、各模型的选择结果与自建工具数量。
  • data/manifest.json:运行元数据,记录模型、日期、预算与总计。
  • data/prompts.json 与 data/prompts.csv:30 条提示词原文,按 promptId 索引。
  • data/agents/*/results.jsonl:每次运行一行,字段与 runs.json 相同并额外包含 steps。

提示词设计

实验在 10 个功能类别上各准备 3 种提示措辞,每个「类别 × 措辞 × 起始仓库」组合重复 2 次。两个起始仓库分别为 Next.js + TypeScript 与 Python + FastAPI,因此提示词总数为 30 条,全部原文收录于 data/prompts.json 与 data/prompts.csv,可通过 promptId 与运行记录关联。

运行规模与构成

Claude 部分共 360 次运行,其中 355 次计分,运行时间为 2026 年 10 月 17 日与 18 日,覆盖 Opus 5.5、Sonnet 5.5 与 Haiku 5.5。附加的 OpenCode 运行共 72 次:DeepSeek V4.1 Flash 36 次运行、34 次计分;GLM 5.3 Flash 36 次运行、35 次计分。这部分于 2026 年 10 月 27 日在 OpenCode 1.19.4 上执行,仅覆盖 3 个类别,并单独存放于 data/agents 下,不与 data/runs.json 混合,以保证 Claude 部分的统计口径不变。

其他智能体数据的存放方式

data/agents 目录按智能体分文件夹组织,每次运行以一行 JSONL 记录,字段与主运行文件一致,并额外保留 steps 字段,用于还原智能体在运行过程中的步骤序列。这一结构使后续加入的其他智能体运行可以与 Claude 主数据并行分析,而无需改动既有文件。

一次选择如何判定

每次运行都会记录智能体实际安装了什么、是否自建工具(builtItsOwn)、支撑判定的证据(evidence)、智能体自述使用的工具(statedTools)以及停止原因(stopReason)。这些字段共同构成「工具选择」的判定依据,使研究者可以区分真正安装的工具与仅在回答中提及的工具。

CSV 字段说明

runs.csv 的列包括:id、categoryId、agent、model、effort、stack、promptId、repeat、startedAt、durationMs、scored、toolId、builtItsOwn、evidence、statedTools、stopReason、inputTokens、outputTokens、costUsd。借助 promptId、categoryId 与 repeat,可以将每次运行回溯到具体提示词与重复轮次,并结合 token 与成本字段做效率分析。

使用限制

数据反映的是特定模型、特定日期与特定提示措辞下的默认选择行为,类别与起始仓库均为有限集合;附加的 OpenCode 运行只覆盖 3 个类别,与 Claude 部分的规模不可直接对比。使用时应结合 scored 字段区分计分与未计分运行。

版本更新

仓库随实验推进更新,OpenCode 附加运行即作为独立批次加入,并保持与主运行文件分离。后续新增智能体或模型的数据同样按 data/agents 的结构追加。

许可与引用

数据采用 CC BY 4.0 许可,可自由使用,需署名 “What Agents Pick” 并链接至 whatagentspick.com。引用格式为:What Agents Pick (2026). Which tools coding agents pick by default. https://whatagentspick.com。

基本信息

记录数量Claude 部分 360 次运行(355 次计分);附加 OpenCode 运行 72 次(DeepSeek V4.1 Flash 36 次/34 计分,GLM 5.3 Flash 36 次/35 计分);10 个类别、2 个起始仓库、每类 3 种提示措辞、每格 2 次重复,共 30 条提示词
文件大小未知
文件格式JSON, CSV, JSONL, Markdown
数据来源What Agents Pick
许可协议CC BY 4.0
覆盖模型Opus 5.5、Sonnet 5.5、Haiku 5.5、DeepSeek V4.1 Flash、GLM 5.3 Flash
运行次数432 次(Claude 360 次,OpenCode 72 次)
提示词数量30 条
获取方式GitHub 公开仓库
数据落地页https://github.com/nmbrthirteen/what-agents-pick-data
发布日期2026-10-27
编码智能体工具选择Claude Code大语言模型评测运行记录

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费