Qwen3-4B 骑士与无赖逻辑推理强化学习轨迹

机器学习
0 下载
2 浏览
2026-10-07

数据集简介

训练运行与文件组织

数据集来自一次 verl 强化学习训练运行的 rollout 记录,基座模型为 Qwen3-4B,训练方法为 DPPO/MaxRL。所有样本按训练器实际消费顺序写入 parquet 文件,每个 trainer step 对应一个文件,命名形如 data/step-<NNNN>.parquet。同一 prompt 的 rollout.n 个采样结果在文件中连续排列,并共享同一个 uid,便于按 prompt 聚合分析。

字段与数据内容

每条记录包含以下可核对字段:

  • uid:同一 prompt 的多个 rollout 共享的标识;
  • step:所属训练器 step;
  • prompt_token_ids / response_token_ids:精确 token id,保留特殊 token、无 padding;
  • rollout_log_probs:response 每个 token 在采样时的 log-prob;
  • input / output:以 skip_special_tokens=True 解码后的文本,仅供阅读;
  • score:原始奖励值;
  • acc:正确性指标;
  • rollout.n:每个 prompt 的采样数量;
  • prompt 元数据:solution、names、knight_knave_terms、difficulty(含 n_people、depth_constraint、width_constraint)、answer、question。

题目来源与术语替换

题目取自 polaris1000 中的骑士与无赖(knight/knave)逻辑推理谜题,原始术语在数据中被替换为 hero/villain。每条 prompt 的元数据保留了角色名单、术语映射、标准答案与难度约束,可用于按难度或角色数量分层研究模型的推理表现与奖励信号。

规模与获取方式

数据集共 1,486,848 行(约 1.49M 行),数据模态为表格加文本,文件格式为 parquet。数据集为公开、非 gated 资源,可在 HuggingFace 数据集页面浏览文件与版本并直接下载;页面未标注具体许可协议。

引用与版本

数据集标识为 ftajwar/maxrl_dppo_qwen3_4B_maxrl_polaris1000_knk_rollouts,发布页面记录日期为 2026-10-07,最近更新时间为 2026-10-08。使用时应以该标识引用。

基本信息

记录数量未知
文件大小未知
文件格式parquet
数据来源ftajwar
数据模态表格、文本
规模1,486,848 行
访问方式公开非 gated
数据落地页https://huggingface.co/datasets/ftajwar/maxrl_dppo_qwen3_4B_maxrl_polaris1000_knk_rollouts
发布日期2026-10-07
强化学习训练轨迹逻辑推理Qwen3-4Bverl奖励分析

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费