SWE-bench Lite 代码智能体评测记录
数据集简介
评测运行背景
本条目对应 HuggingFace 用户 dougalldeepmind 名下的数据集仓库 2026-09-23-swebench-qwen36-0-nosynth。其性质为一次 eval-run 评测运行记录,而非人工标注语料:它保存模型 qwen36_0_nosynth 在 think 模式下对 Full 300-task SWE-bench Lite 所做 no-DA 对照评测的逐实例结果。数据集卡明确说明,在有效覆盖与评分完成之前,该记录属于部分结果;生成日期为 2026-09-23。
页面标签包括 eval-run、eval:swebench_mini、model:qwen36_0_nosynth、mode:think 与 swebench-lite,可用于定位该运行所采用的评测配置与模型版本。
逐实例结果字段
数据按 SWE-bench Lite 实例 ID 组织,例如 pylint-dev__pylint-6506、pylint-dev__pylint-7228。每个实例记录以下字段:
- patch_is_None:布尔值,标识模型是否未产出补丁;
- patch_exists:布尔值,标识是否存在补丁;
- patch_successfully_applied:布尔值,标识补丁是否成功应用;
- resolved:布尔值,标识该实例是否被判定为已解决;
- tests_status:测试状态分组,包含 FAIL_TO_PASS、PASS_TO_PASS、FAIL_TO_FAIL、PASS_TO_FAIL 四类,每类下再给出 success 与 failure 两个计数。
上述字段均为结构化取值,便于直接统计补丁生成率、补丁应用成功率与实例解决率,也可按测试类别拆分分析模型行为。
文件与获取方式
仓库以 json 与 parquet 两种格式提供数据文件,可通过 HuggingFace 页面的 Files and versions 区块浏览与下载。仓库公开可见且免费访问,页面未标注具体许可证。数据集规模对应 Full 300-task SWE-bench Lite 评测(no-DA 对照),页面显示为部分结果,具体文件体积未在页面给出。
使用提示
由于该记录在有效覆盖与评分完成前为部分结果,使用时应先确认所下载版本对应的实例覆盖范围,再据此计算任何汇总指标;逐实例字段本身可直接用于核对单个 SWE-bench Lite 任务的补丁与测试状态。