Kinex 机器人基准评测证据库

计算机视觉
0 下载
2 浏览
2026-10-11

数据集简介

统一媒体与证据存储

本数据集是 Kinex Benchmark Space 的统一媒体与证据存储层,用于集中保存各编码代理与模型组合在机器人任务上的评测产物。其核心目的并非提供训练语料,而是为基准结果提供可追溯、可复核的证据索引:每一条记录对应一次 episode 级评测,并附带判定所需的状态与身份信息。

数据以 JSON 表格记录形式组织,围绕 episode 结构展开,包含任务名、容器、模型身份与版本、通过/计分状态、调用次数以及多项终端条件判定字段。

索引对比的代理与模型组合

当前索引对比了多组编码代理与模型搭配在机器人任务上的表现:

  • Codex + GPT-6 Astra / high:154 个 episode
  • Kinex + GPT-6 Astra / high:154 个 episode
  • Claude Code + Opus 5.5 / high:已发布 115 个 episode

上述组合覆盖了不同编码代理与模型服务层级的搭配,便于在相同任务集合上横向比较。

记录字段与判定依据

每条 episode 记录携带的字段可分为几类,便于逐条核对:

  • 结果状态:passed、scored、recorded_native_success、recorded_success_latched
  • 调用与任务信息:model_calls、episodes、task、scope
  • 状态一致性:native_record_sha256、initial_state_max_error、restored_terminal_state_max_error、terminal_predicate、conditions
  • 模型身份:model.kinex_identity、model.kinex_version、model.kinex_source.revision、model.kinex_source.source、model.model、model.effort、model.service_tier
  • 指令与账户校验:actual_prompt_sha256、authorized_account_matches、modified_instruction_in_first_user_message、instruction_policy、provider_requests_checked
  • 运行环境:image、gpu

其中 terminal_predicate 与 conditions 共同描述终端条件判定,initial_state_max_error 与 restored_terminal_state_max_error 用于衡量初始状态与恢复后终端状态的误差,native_record_sha256 与 actual_prompt_sha256 则提供记录与提示的哈希校验依据。

文件与访问方式

数据集以 JSON 文件形式在 HuggingFace(HF Mirror)数据集页面提供,页面包含 Dataset card、Files and versions 与 Community 三个区块,可在线浏览文件与版本并下载。数据集公开免费访问;具体许可协议未在页面中说明。

基本信息

记录数量未知
文件大小未知
文件格式JSON
数据来源RLE-Bench
任务领域机器人
记录粒度Episode
访问方式公开免费
数据落地页https://huggingface.co/datasets/RLE-Bench/kinex-benchmark
发布日期2026-10-11
机器人基准编码代理评测episode 记录模型对比JSON 数据集

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费