GRPO 强化学习多轮工具调用轨迹数据集

机器学习
0 下载
0 浏览
2026-10-26

数据集简介

轨迹记录的组织方式

该数据集是一份 rollout 记录集,按结构化表格组织,单条样本即一次完整的轨迹采样。字段覆盖三个层面:运行级上下文、模型与推理配置、单条轨迹的 token 与行为数据。schema 中可见 schema_version、run、harness、argv、created、launch_argv 等元信息字段,用于标识本次采样所属的运行批次与启动方式。

运行环境与推理配置

每条记录携带 env 字段,内含大量 TB_* 与 SWERL_* 环境变量,例如 TB_HARNESS、TB_GROUP_SIZE、TB_TASK_LIST、SWERL_DOCKER_* 等,用于还原采样时的任务分组与容器环境。model、tokenizer、chat_template 描述所用模型与对话模板;vllm 子结构记录推理侧参数,包括 vllm_num_engines 与 vllm_tensor_parallel_size。这些字段使同一轨迹的推理条件可被完整追溯,便于在回放时复现配置。

工具调用与多轮对话结构

tools 字段集中描述 Agent 的工具调用设置:tools、tool_call_names、tool_configs、tool_parser_type、max_steps、per_turn_max_tokens。与轨迹本身对应的 trace 字段按轮次记录 turn、assistant_text、parsed_action,构成多轮工具调用的完整对话链;num_calls 统计调用次数,tool_error 标记工具调用中的错误情况,truncated 与 finish_reason 指示轨迹是否被截断及结束原因。

Token 序列与行为策略数据

样本的核心训练信号以 token 级字段给出:prompt_token_ids 为 int64 列表,response_token_ids 为对应的响应 token 序列,response_mask 标记参与训练的位置,behavior_logprobs 为 double 列表,记录行为策略在各 token 上的对数概率。另有 env_config、policy_versions、model_step_request、model_step_finish、rollout_patch 等字段,用于关联策略版本与采样步骤。

文件与访问方式

数据集页面公开可访问,可在 Files and versions 中浏览并下载文件;页面未标注具体许可协议。数据以 parquet 格式提供(由 HF datasets 查看器 schema 推断)。数据集页面发布于 2026-10-26。

引用与来源

数据集由 Hugging Face 用户 yyuanuw 发布,官方名称为 yyuanuw/hop2-tb-grpo-v3-vlxs-rollouts,落地页为 https://huggingface.co/datasets/yyuanuw/hop2-tb-grpo-v3-vlxs-rollouts。

基本信息

记录数量未知
文件大小未知
文件格式parquet
数据来源yyuanuw
数据模态结构化表格
发布者yyuanuw
许可协议未标注
数据落地页https://huggingface.co/datasets/yyuanuw/hop2-tb-grpo-v3-vlxs-rollouts
发布日期2026-10-26
GRPO强化学习工具调用轨迹采样大模型训练

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费