EngiWorld 专业工程软件智能体任务集

机器学习
0 下载
2 浏览
2026-10-12

数据集简介

面向专业工程软件的智能体评测任务库

EngiWorld-Tasks 服务于 EngiWorld 基准,考察前沿智能体在专业工程软件环境中能否端到端完成任务。任务库共 1,301 条任务,覆盖 CAD、CAE、CAM、BIM、EDA、DCC 六个工程领域,涉及 26 款专业工程软件,界面形态分为 GUI 与 CLI 两类。任务由专家整理,每条任务均给出任务定义、评测器,以及 GitHub 任务目录内的输入文件与参考文件,可直接用于智能体能力的对照评测。

六类任务与以工件为中心的评测

任务按六种任务类型组织,对应真实工程项目所要求的能力,例如视觉引导建模(Vision-Guided Modeling)。评测方法以工件为中心,建立在统一的领域验证器套件之上,判断智能体产出的工件是否满足任务要求,而非仅比对操作轨迹。

任务记录字段

数据集以 tasks 子集(default 划分)组织,约 1.3k 行,主要字段如下:

字段 含义
task_id 任务标识,形如 vision-guided-modeling--cli--blender--task-01--ubuntu
instruction 任务指令文本
category 任务类别(6 类)
task_type 任务类型(6 类,如 Vision-Guided Modeling)
interface 界面形态(GUI / CLI)
software 软件名(37 个取值,如 blender、freecad)
main_experiment 布尔标记,指示是否主实验
task_file 任务 JSON 路径,如 task/vision-guided-modeling/cli/blender/task-01/task-01.json

文件与访问方式

数据集以 json 为主要格式,任务目录中还包含 PNG 参考图、CSV/TXT 报告等输入与参考文件。在 Hugging Face 上可通过 Files and versions 获取原始文件,也可使用自动转换的 Parquet、Dataset Viewer 与 API 访问。数据规模区间标注为 1K–10K,许可为 MIT,公开免费下载。

论文与引用

该任务库配套论文《EngiWorld: What Can Frontier Agents Deliver in Professional Engineering Environments?》,由 Hongcheng Gao、Hailong Qu、Yu Lei、Henghui Sun、Haoyang Li、Yipeng Wei、Naihao Xue、Xiaohan Yu、Zhuo Tao、Yihe Zang、Yajiao Wang、Jingyi Tang、Yi Li、Jingjing Zhou、Jie Luo、Bohan Zeng、Chengyu Shen、Hao Jiang、Chong Chen、Bowen Qu、Olive Huang、Zeqiang Wang 及 EngiWorld 项目组完成;论文于 2026 年 9 月 29 日提交 v1,2026 年 10 月 9 日修订为 v2。

基本信息

记录数量1,301 条任务,约 1.3k 行;规模区间 1K–10K
文件大小未知
文件格式JSON、PNG、CSV、TXT、Parquet
数据来源EngiWorld 项目组
任务数量1,301 条
工程领域6 个
软件数量26 款
任务类型6 类
界面形态GUI、CLI
数据划分default / tasks
许可证MIT
数据落地页https://huggingface.co/datasets/HongchengGao/EngiWorld-Tasks
发布日期2026-10-12
工程软件智能体评测计算机使用基准任务多领域工程

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费