GRPO 强化学习多轮工具调用轨迹数据集
数据集简介
轨迹记录的组织方式
该数据集是一份 rollout 记录集,按结构化表格组织,单条样本即一次完整的轨迹采样。字段覆盖三个层面:运行级上下文、模型与推理配置、单条轨迹的 token 与行为数据。schema 中可见 schema_version、run、harness、argv、created、launch_argv 等元信息字段,用于标识本次采样所属的运行批次与启动方式。
运行环境与推理配置
每条记录携带 env 字段,内含大量 TB_* 与 SWERL_* 环境变量,例如 TB_HARNESS、TB_GROUP_SIZE、TB_TASK_LIST、SWERL_DOCKER_* 等,用于还原采样时的任务分组与容器环境。model、tokenizer、chat_template 描述所用模型与对话模板;vllm 子结构记录推理侧参数,包括 vllm_num_engines 与 vllm_tensor_parallel_size。这些字段使同一轨迹的推理条件可被完整追溯,便于在回放时复现配置。
工具调用与多轮对话结构
tools 字段集中描述 Agent 的工具调用设置:tools、tool_call_names、tool_configs、tool_parser_type、max_steps、per_turn_max_tokens。与轨迹本身对应的 trace 字段按轮次记录 turn、assistant_text、parsed_action,构成多轮工具调用的完整对话链;num_calls 统计调用次数,tool_error 标记工具调用中的错误情况,truncated 与 finish_reason 指示轨迹是否被截断及结束原因。
Token 序列与行为策略数据
样本的核心训练信号以 token 级字段给出:prompt_token_ids 为 int64 列表,response_token_ids 为对应的响应 token 序列,response_mask 标记参与训练的位置,behavior_logprobs 为 double 列表,记录行为策略在各 token 上的对数概率。另有 env_config、policy_versions、model_step_request、model_step_finish、rollout_patch 等字段,用于关联策略版本与采样步骤。
文件与访问方式
数据集页面公开可访问,可在 Files and versions 中浏览并下载文件;页面未标注具体许可协议。数据以 parquet 格式提供(由 HF datasets 查看器 schema 推断)。数据集页面发布于 2026-10-26。
引用与来源
数据集由 Hugging Face 用户 yyuanuw 发布,官方名称为 yyuanuw/hop2-tb-grpo-v3-vlxs-rollouts,落地页为 https://huggingface.co/datasets/yyuanuw/hop2-tb-grpo-v3-vlxs-rollouts。