Crusader Arena 智能体基准运行记录集
数据集简介
基准运行的组织方式
Crusader Arena 的每一次运行都对应一个模型在《Stronghold Crusader: Definitive Edition》中的一局完整对局。运行记录围绕 episodes 组织:一局可包含多个回合,episodes_completed 记录实际完成的回合数,net_worth_by_episode 与 valid_by_episode 则按回合给出净财富与有效性判定,便于观察模型在连续对局中的表现起伏。series_id 把同一系列运行归组,submitted_by 标明提交者,tier 区分运行层级。
模型与运行配置
每条记录都带有可核对的模型与调用信息:model_id、model_name 标识被测模型,endpoint 与 providers 记录调用端点与供应商,allow_fallbacks 说明是否允许回退。运行约束由 game_minutes_budget 与 wall_limit_minutes 给出游戏内时间预算与真实时间上限,max_tokens 限制单次生成长度。为便于复现,数据集还保存了 harness_commit、prompt_sha256、tools_sha256 等指纹字段,以及 benchmark_fingerprint 与 dataset_version,把测试框架、提示词与工具集的版本固定下来。
轨迹、遥测与结果字段
运行过程以多模态方式留存。reasoning 保存模型的推理内容,turns 与 tool_calls 统计交互轮次与工具调用次数;game_seconds 与 wall_seconds 分别记录游戏内耗时与真实耗时。资源消耗方面有 tokens_total 与 cost_usd。结果侧包括 score、change、valid,以及定居点最终状态 playbook_final。地图与存档由 map、save 指定,run_settings 汇总本次运行的设置。
文件与媒体内容
数据以 parquet 表格承载结构化字段,同时提供 mp4 视频与 jpg 截图:video 指向该次运行的录像,final_image 是定居点最终画面,files 列出关联文件。数据规模约 5.42k 行,属于 1K–10K 量级,涵盖图像、表格与文本三种模态。
许可与使用
数据集采用 CC BY 4.0 许可,但游戏录像除外(cc-by-4.0-except-game-footage),可公开免费下载。发布日期为 2026-10-13。