Pareto Rail 关卡生成基准智能体完整对话记录

机器学习
0 下载
2 浏览
2026-07-24

数据集简介

Layout

数据集目录结构遵循基准仓库的布局,主要包含 runs/ 目录,每个运行以 run-id 标识,内部包含 assignment.md 文件,即智能体收到的渲染提示。

Runs

每次已发布运行均提供完整的智能体对话记录(transcript),记录模型如何根据书面主题生成关卡。这些记录以 JSONL 格式存储,便于程序化分析。

Rehearsal runs (never ranked; kept as failure examples)

数据集中包含排练运行(rehearsal runs),这些运行从未参与排名,作为失败示例保留,可供研究智能体失败模式。

Diagnostics (not benchmark runs)

诊断数据(diagnostics)不属于基准运行,可能包含调试或评估辅助信息,但未明确说明具体内容。

Pareto Rail benchmark rollouts

该数据集的核心是 Pareto Rail 基准的 rollouts,即每次运行的完整记录。基准本身的方法论、每次运行的来源清单(包括渲染提示、封装提交、门控结果、实测成本)以及关卡源代码,均存储在主仓库 github.com/paulbatum/pareto-rail 中。

Layout

再次强调目录布局:runs//assignment.md 为智能体接收到的提示文件,数据格式为 JSONL 和 Markdown。

基本信息

记录数量未知
文件大小未知
文件格式jsonl, md
数据来源HuggingFace
许可证MIT
访问权限公开
数据落地页https://huggingface.co/datasets/paulbatum/pareto-rail-rollouts
发布日期2026-07-24
Pareto Rail关卡生成智能体对话基准测试横版射击

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费