EngiWorld 专业工程软件智能体任务集
数据集简介
面向专业工程软件的智能体评测任务库
EngiWorld-Tasks 服务于 EngiWorld 基准,考察前沿智能体在专业工程软件环境中能否端到端完成任务。任务库共 1,301 条任务,覆盖 CAD、CAE、CAM、BIM、EDA、DCC 六个工程领域,涉及 26 款专业工程软件,界面形态分为 GUI 与 CLI 两类。任务由专家整理,每条任务均给出任务定义、评测器,以及 GitHub 任务目录内的输入文件与参考文件,可直接用于智能体能力的对照评测。
六类任务与以工件为中心的评测
任务按六种任务类型组织,对应真实工程项目所要求的能力,例如视觉引导建模(Vision-Guided Modeling)。评测方法以工件为中心,建立在统一的领域验证器套件之上,判断智能体产出的工件是否满足任务要求,而非仅比对操作轨迹。
任务记录字段
数据集以 tasks 子集(default 划分)组织,约 1.3k 行,主要字段如下:
| 字段 | 含义 |
|---|---|
task_id |
任务标识,形如 vision-guided-modeling--cli--blender--task-01--ubuntu |
instruction |
任务指令文本 |
category |
任务类别(6 类) |
task_type |
任务类型(6 类,如 Vision-Guided Modeling) |
interface |
界面形态(GUI / CLI) |
software |
软件名(37 个取值,如 blender、freecad) |
main_experiment |
布尔标记,指示是否主实验 |
task_file |
任务 JSON 路径,如 task/vision-guided-modeling/cli/blender/task-01/task-01.json |
文件与访问方式
数据集以 json 为主要格式,任务目录中还包含 PNG 参考图、CSV/TXT 报告等输入与参考文件。在 Hugging Face 上可通过 Files and versions 获取原始文件,也可使用自动转换的 Parquet、Dataset Viewer 与 API 访问。数据规模区间标注为 1K–10K,许可为 MIT,公开免费下载。
论文与引用
该任务库配套论文《EngiWorld: What Can Frontier Agents Deliver in Professional Engineering Environments?》,由 Hongcheng Gao、Hailong Qu、Yu Lei、Henghui Sun、Haoyang Li、Yipeng Wei、Naihao Xue、Xiaohan Yu、Zhuo Tao、Yihe Zang、Yajiao Wang、Jingyi Tang、Yi Li、Jingjing Zhou、Jie Luo、Bohan Zeng、Chengyu Shen、Hao Jiang、Chong Chen、Bowen Qu、Olive Huang、Zeqiang Wang 及 EngiWorld 项目组完成;论文于 2026 年 9 月 29 日提交 v1,2026 年 10 月 9 日修订为 v2。