Qwen3-4B 骑士与无赖逻辑推理强化学习轨迹
机器学习
0 下载
2 浏览
2026-10-07
数据集简介
训练运行与文件组织
数据集来自一次 verl 强化学习训练运行的 rollout 记录,基座模型为 Qwen3-4B,训练方法为 DPPO/MaxRL。所有样本按训练器实际消费顺序写入 parquet 文件,每个 trainer step 对应一个文件,命名形如 data/step-<NNNN>.parquet。同一 prompt 的 rollout.n 个采样结果在文件中连续排列,并共享同一个 uid,便于按 prompt 聚合分析。
字段与数据内容
每条记录包含以下可核对字段:
uid:同一 prompt 的多个 rollout 共享的标识;step:所属训练器 step;prompt_token_ids/response_token_ids:精确 token id,保留特殊 token、无 padding;rollout_log_probs:response 每个 token 在采样时的 log-prob;input/output:以skip_special_tokens=True解码后的文本,仅供阅读;score:原始奖励值;acc:正确性指标;rollout.n:每个 prompt 的采样数量;- prompt 元数据:
solution、names、knight_knave_terms、difficulty(含n_people、depth_constraint、width_constraint)、answer、question。
题目来源与术语替换
题目取自 polaris1000 中的骑士与无赖(knight/knave)逻辑推理谜题,原始术语在数据中被替换为 hero/villain。每条 prompt 的元数据保留了角色名单、术语映射、标准答案与难度约束,可用于按难度或角色数量分层研究模型的推理表现与奖励信号。
规模与获取方式
数据集共 1,486,848 行(约 1.49M 行),数据模态为表格加文本,文件格式为 parquet。数据集为公开、非 gated 资源,可在 HuggingFace 数据集页面浏览文件与版本并直接下载;页面未标注具体许可协议。
引用与版本
数据集标识为 ftajwar/maxrl_dppo_qwen3_4B_maxrl_polaris1000_knk_rollouts,发布页面记录日期为 2026-10-07,最近更新时间为 2026-10-08。使用时应以该标识引用。
基本信息
记录数量未知
文件大小未知
文件格式parquet
数据来源ftajwar
数据模态表格、文本
规模1,486,848 行
访问方式公开非 gated
数据落地页https://huggingface.co/datasets/ftajwar/maxrl_dppo_qwen3_4B_maxrl_polaris1000_knk_rollouts
发布日期2026-10-07
强化学习训练轨迹逻辑推理Qwen3-4Bverl奖励分析
上架信息
数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载