短时程智能体任务集(Harbor 格式)
机器学习
0 下载
49 浏览
2026-08-12
数据集简介
子集(Subsets)
agent-tasks-short 数据集由多个子集构成,每个子集对应一个顶层目录,目录内为标准的 Harbor 任务目录结构。当前包含以下三个主要子集:
- tblite:包含 100 个任务,源自 tblite 基准。
- terminal-bench-2:包含 89 个任务,源自 terminal-bench 基准。
- harbor-index-1.0:包含 82 个任务,源自 harbor-index 基准。
每个任务目录均包含 task.toml(任务配置,其中 [agent] timeout_sec 字段定义了智能体时间上限)、instruction.md(任务说明)、environment/(环境配置)和 tests/(测试脚本)。
时间上限缩减(Cap-time reduction vs the full source datasets)
本数据集的核心筛选标准是:仅保留源基准中智能体时间上限([agent] timeout_sec)不超过 20 分钟(1200 秒)的任务。这意味着所有任务均为短时程任务,适合用于评估智能体在有限时间内的决策与执行能力。相比原始完整数据集,本数据集通过时间上限筛选,显著缩短了单个任务的执行时长,从而提高了评测效率。
来源(Provenance)
各子集的任务均来自公开的智能体基准,具体来源如下:
- tblite:源自 tblite 基准。
- terminal-bench-2:源自 terminal-bench 基准(注意:terminal-bench-2-fn 子集已于 2026-08-20 移除,因其上游仓库已不可用)。
- harbor-index-1.0:源自 harbor-index 基准。
这些基准均为智能体领域广泛使用的评测集合,本数据集对其进行了短时程筛选,并统一转换为 Harbor 任务目录格式。
5 分钟以内子集(Sub-5-minute subsets,2026-08-15)
2026-08-15 新增了五个子集,所有任务均满足 [agent] timeout_sec = 300.0(即 5 分钟)且 network_mode = "no-network"(无网络模式),并经过机械验证。具体如下:
- bbeh-mini:460 个任务。
- reasoning-gym:576 个任务。
- dabstep:450 个任务。
- bcb-hard:127 个任务。
- ifbench:300 个任务。
这些子集进一步缩短了任务时长,并禁用了网络访问,适用于需要严格隔离环境的评测场景。
许可与访问
该数据集公开免费,未设置访问门槛(未 gated、未私有)。各子集来源许可不尽相同,例如可能包括 CC-BY-4.0、Apache-2.0、ODC-BY-1.0 等,具体请参考各子集原始来源的许可说明。数据集整体统一许可未明确说明,使用时请留意各子集的原始许可条款。
基本信息
记录数量未知
文件大小tblite 100 任务、terminal-bench-2 89 任务、harbor-index-
文件格式toml, md
数据来源HuggingFace
任务目录结构task.toml, instruction.md, environment/, tests/
时间上限≤20 分钟(1200 秒)
子集数量8 个(tblite、terminal-bench-2、harbor-index-1.0、bbeh-mini、reasoning-gym、dabstep、bcb-hard、ifbench)
数据落地页https://huggingface.co/datasets/yoonholee/agent-tasks-short
发布日期2026-08-12
智能体基准评测短时程任务Harbor任务集
上架信息
数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载