编码智能体默认工具选择行为运行数据
数据集简介
仓库内容与文件组织
仓库围绕「智能体默认选什么工具」这一问题组织,提供多种粒度的数据文件:
data/runs.json:逐次运行记录,包含模型、技术栈、提示词、安装内容、证据、token 用量、成本以及智能体最后一条消息。data/runs.csv:与runs.json内容一致,展平为一行一次运行,便于表格工具直接读取。data/picks-summary.csv:按类别汇总每个工具被选择的次数,三个模型合并统计。data/categories/*.json:分类报告,含提示词、起始仓库、各模型的选择结果与自建工具数量。data/manifest.json:运行元数据,记录模型、日期、预算与总计。data/prompts.json与data/prompts.csv:30 条提示词原文,按 promptId 索引。data/agents/*/results.jsonl:每次运行一行,字段与runs.json相同并额外包含steps。
提示词设计
实验在 10 个功能类别上各准备 3 种提示措辞,每个「类别 × 措辞 × 起始仓库」组合重复 2 次。两个起始仓库分别为 Next.js + TypeScript 与 Python + FastAPI,因此提示词总数为 30 条,全部原文收录于 data/prompts.json 与 data/prompts.csv,可通过 promptId 与运行记录关联。
运行规模与构成
Claude 部分共 360 次运行,其中 355 次计分,运行时间为 2026 年 10 月 17 日与 18 日,覆盖 Opus 5.5、Sonnet 5.5 与 Haiku 5.5。附加的 OpenCode 运行共 72 次:DeepSeek V4.1 Flash 36 次运行、34 次计分;GLM 5.3 Flash 36 次运行、35 次计分。这部分于 2026 年 10 月 27 日在 OpenCode 1.19.4 上执行,仅覆盖 3 个类别,并单独存放于 data/agents 下,不与 data/runs.json 混合,以保证 Claude 部分的统计口径不变。
其他智能体数据的存放方式
data/agents 目录按智能体分文件夹组织,每次运行以一行 JSONL 记录,字段与主运行文件一致,并额外保留 steps 字段,用于还原智能体在运行过程中的步骤序列。这一结构使后续加入的其他智能体运行可以与 Claude 主数据并行分析,而无需改动既有文件。
一次选择如何判定
每次运行都会记录智能体实际安装了什么、是否自建工具(builtItsOwn)、支撑判定的证据(evidence)、智能体自述使用的工具(statedTools)以及停止原因(stopReason)。这些字段共同构成「工具选择」的判定依据,使研究者可以区分真正安装的工具与仅在回答中提及的工具。
CSV 字段说明
runs.csv 的列包括:id、categoryId、agent、model、effort、stack、promptId、repeat、startedAt、durationMs、scored、toolId、builtItsOwn、evidence、statedTools、stopReason、inputTokens、outputTokens、costUsd。借助 promptId、categoryId 与 repeat,可以将每次运行回溯到具体提示词与重复轮次,并结合 token 与成本字段做效率分析。
使用限制
数据反映的是特定模型、特定日期与特定提示措辞下的默认选择行为,类别与起始仓库均为有限集合;附加的 OpenCode 运行只覆盖 3 个类别,与 Claude 部分的规模不可直接对比。使用时应结合 scored 字段区分计分与未计分运行。
版本更新
仓库随实验推进更新,OpenCode 附加运行即作为独立批次加入,并保持与主运行文件分离。后续新增智能体或模型的数据同样按 data/agents 的结构追加。
许可与引用
数据采用 CC BY 4.0 许可,可自由使用,需署名 “What Agents Pick” 并链接至 whatagentspick.com。引用格式为:What Agents Pick (2026). Which tools coding agents pick by default. https://whatagentspick.com。