Crusader Arena 智能体基准运行记录集

机器学习
0 下载
2 浏览
2026-10-13

数据集简介

基准运行的组织方式

Crusader Arena 的每一次运行都对应一个模型在《Stronghold Crusader: Definitive Edition》中的一局完整对局。运行记录围绕 episodes 组织:一局可包含多个回合,episodes_completed 记录实际完成的回合数,net_worth_by_episode 与 valid_by_episode 则按回合给出净财富与有效性判定,便于观察模型在连续对局中的表现起伏。series_id 把同一系列运行归组,submitted_by 标明提交者,tier 区分运行层级。

模型与运行配置

每条记录都带有可核对的模型与调用信息:model_id、model_name 标识被测模型,endpoint 与 providers 记录调用端点与供应商,allow_fallbacks 说明是否允许回退。运行约束由 game_minutes_budget 与 wall_limit_minutes 给出游戏内时间预算与真实时间上限,max_tokens 限制单次生成长度。为便于复现,数据集还保存了 harness_commit、prompt_sha256、tools_sha256 等指纹字段,以及 benchmark_fingerprint 与 dataset_version,把测试框架、提示词与工具集的版本固定下来。

轨迹、遥测与结果字段

运行过程以多模态方式留存。reasoning 保存模型的推理内容,turns 与 tool_calls 统计交互轮次与工具调用次数;game_seconds 与 wall_seconds 分别记录游戏内耗时与真实耗时。资源消耗方面有 tokens_total 与 cost_usd。结果侧包括 score、change、valid,以及定居点最终状态 playbook_final。地图与存档由 map、save 指定,run_settings 汇总本次运行的设置。

文件与媒体内容

数据以 parquet 表格承载结构化字段,同时提供 mp4 视频与 jpg 截图:video 指向该次运行的录像,final_image 是定居点最终画面,files 列出关联文件。数据规模约 5.42k 行,属于 1K–10K 量级,涵盖图像、表格与文本三种模态。

许可与使用

数据集采用 CC BY 4.0 许可,但游戏录像除外(cc-by-4.0-except-game-footage),可公开免费下载。发布日期为 2026-10-13。

基本信息

记录数量未知
文件大小未知
文件格式parquet, mp4, jpg
数据来源hesamation
数据规模5.42k 行
语言英语
许可CC BY 4.0(游戏录像除外)
数据模态图像、表格、文本、视频
数据落地页https://huggingface.co/datasets/hesamation/crusader-arena-runs
发布日期2026-10-13
AI智能体基准测试计算机使用策略游戏运行记录

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费