Pareto Rail 关卡生成基准智能体完整对话记录
机器学习
0 下载
2 浏览
2026-07-24
数据集简介
Layout
数据集目录结构遵循基准仓库的布局,主要包含 runs/ 目录,每个运行以 run-id 标识,内部包含 assignment.md 文件,即智能体收到的渲染提示。
Runs
每次已发布运行均提供完整的智能体对话记录(transcript),记录模型如何根据书面主题生成关卡。这些记录以 JSONL 格式存储,便于程序化分析。
Rehearsal runs (never ranked; kept as failure examples)
数据集中包含排练运行(rehearsal runs),这些运行从未参与排名,作为失败示例保留,可供研究智能体失败模式。
Diagnostics (not benchmark runs)
诊断数据(diagnostics)不属于基准运行,可能包含调试或评估辅助信息,但未明确说明具体内容。
Pareto Rail benchmark rollouts
该数据集的核心是 Pareto Rail 基准的 rollouts,即每次运行的完整记录。基准本身的方法论、每次运行的来源清单(包括渲染提示、封装提交、门控结果、实测成本)以及关卡源代码,均存储在主仓库 github.com/paulbatum/pareto-rail 中。
Layout
再次强调目录布局:runs/
基本信息
记录数量未知
文件大小未知
文件格式jsonl, md
数据来源HuggingFace
许可证MIT
访问权限公开
数据落地页https://huggingface.co/datasets/paulbatum/pareto-rail-rollouts
发布日期2026-07-24
Pareto Rail关卡生成智能体对话基准测试横版射击
上架信息
数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载