RoboFollow:具身智能体指令跟随评测数据集
数据集简介
RoboFollow 简介
RoboFollow 是面向具身智能体的指令跟随评测基准,配套数据集用于检验机器人在操作任务中是否真正理解并遵循语言指令。其核心设计是「共享场景」:多个任务在同一场景中并存,智能体若只依赖视觉线索便无法确定目标,必须借助语言指令消歧。
数据集同时提供机器人操作专家演示与评测任务配置,既可用于训练策略,也可作为统一评测的输入。评测关注的是策略能否把语言意图转化为正确的物理动作,而非单纯完成抓取或放置。
RoboTwin 构建基础
数据集基于 RoboTwin 平台构建,沿用其场景与任务组织方式。每个 episode 以结构化条目呈现,命名从 episode_0 延续至 episode_49,单配置下共 50 个 episode 条目。
数据以 json 与 parquet 格式分发,条目中包含场景纹理信息(墙面纹理、桌面纹理)以及可交互物体列表等字段,便于还原共享场景中的任务配置。这些字段共同支撑「同一场景、多任务共存」的评测设定。
四类场景家族
评测任务按指令类型划分为四个场景家族,每个家族考察不同的语言理解维度:
- 空间关系:指令通过相对位置描述目标,如物体之间的方位关系;
- 物体属性:目标需依据颜色、形状等属性区分;
- 轨迹约束:对操作路径或运动方式提出限制;
- 条件指令:动作是否执行取决于指令中给定的条件。
四类家族共同构成共享场景下的指令消歧测试面,覆盖从简单指代到条件推理的多层次难度。
分层评测协议 L0–L3
为区分「没听懂」与「没做到」,RoboFollow 采用 L0–L3 分层评测协议,将意图理解与物理执行拆开评估。低层级考察策略对指令目标的解析是否正确,高层级则考察在理解正确的前提下动作执行的质量。
该协议使评测结果可以定位失败来源:是语言消歧环节出错,还是执行环节受限。研究者可据此分别改进感知、语言理解或控制策略。
论文与代码资源
RoboFollow 的论文题为《RoboFollow: Unveiling the Instruction Following Mirage in Embodied Agents》,arXiv 编号为 2609.25636。代码与项目资源托管于 AutoLab-SAI-SJTU GitHub 仓库,数据集在 HuggingFace 以 AutoLab-SJTU/robofollow-data 公开可下载。
数据集由 AutoLab(上海交通大学)发布,页面上未标注具体许可协议,使用前建议查阅仓库说明。