SWE-bench Lite 代码智能体评测记录

机器学习
0 下载
14 浏览
2026-09-23

数据集简介

评测运行背景

本条目对应 HuggingFace 用户 dougalldeepmind 名下的数据集仓库 2026-09-23-swebench-qwen36-0-nosynth。其性质为一次 eval-run 评测运行记录,而非人工标注语料:它保存模型 qwen36_0_nosynth 在 think 模式下对 Full 300-task SWE-bench Lite 所做 no-DA 对照评测的逐实例结果。数据集卡明确说明,在有效覆盖与评分完成之前,该记录属于部分结果;生成日期为 2026-09-23。

页面标签包括 eval-run、eval:swebench_mini、model:qwen36_0_nosynth、mode:think 与 swebench-lite,可用于定位该运行所采用的评测配置与模型版本。

逐实例结果字段

数据按 SWE-bench Lite 实例 ID 组织,例如 pylint-dev__pylint-6506、pylint-dev__pylint-7228。每个实例记录以下字段:

  • patch_is_None:布尔值,标识模型是否未产出补丁;
  • patch_exists:布尔值,标识是否存在补丁;
  • patch_successfully_applied:布尔值,标识补丁是否成功应用;
  • resolved:布尔值,标识该实例是否被判定为已解决;
  • tests_status:测试状态分组,包含 FAIL_TO_PASS、PASS_TO_PASS、FAIL_TO_FAIL、PASS_TO_FAIL 四类,每类下再给出 success 与 failure 两个计数。

上述字段均为结构化取值,便于直接统计补丁生成率、补丁应用成功率与实例解决率,也可按测试类别拆分分析模型行为。

文件与获取方式

仓库以 json 与 parquet 两种格式提供数据文件,可通过 HuggingFace 页面的 Files and versions 区块浏览与下载。仓库公开可见且免费访问,页面未标注具体许可证。数据集规模对应 Full 300-task SWE-bench Lite 评测(no-DA 对照),页面显示为部分结果,具体文件体积未在页面给出。

使用提示

由于该记录在有效覆盖与评分完成前为部分结果,使用时应先确认所下载版本对应的实例覆盖范围,再据此计算任何汇总指标;逐实例字段本身可直接用于核对单个 SWE-bench Lite 任务的补丁与测试状态。

基本信息

记录数量未知
文件大小未知
文件格式JSON, Parquet
数据来源Dougall DeepMind
任务类型代码智能体评测
评测基准SWE-bench Lite
模型qwen36_0_nosynth
运行模式think
发布日期2026-09-23
数据落地页https://huggingface.co/datasets/dougalldeepmind/2026-09-23-swebench-qwen36-0-nosynth
SWE-bench Lite代码智能体评测记录qwen36_0_nosynth补丁生成

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费