PatchEval漏洞修复评测基准

政府统计
0 下载
43 浏览
2025-11-14

数据集简介

Overview

PatchEval 是一个用于评估大语言模型(LLM)与编码智能体在自动修复真实世界漏洞方面能力的基准测试集。它由字节跳动团队构建,旨在推动 AI 辅助漏洞修复技术的发展。

Dataset card

该数据集包含 230 个 CVE 案例,每个案例都配有基于 Docker 的评测环境,覆盖了 2015 至 2025 年间报告的漏洞,涉及 Go、JavaScript、Python 三种编程语言。每个案例均包含以下字段:

  • cve_id:CVE 编号
  • cve_description:漏洞描述
  • cwe_info:CWE 分类信息
  • repo:相关代码仓库
  • patch_url:补丁链接
  • programming_language:编程语言
  • vul_func:存在漏洞的函数
  • fix_func:修复后的函数
  • image_url:Docker 镜像地址

评测过程通过安全测试与功能测试验证模型生成的补丁,确保补丁不仅修复漏洞,且不破坏原有功能。

Files and versions

数据集文件体积小于 1K,格式为 JSON,便于加载与处理。当前版本为 2025-11-14 发布,采用 Apache-2.0 许可证,允许自由使用与修改。

使用方式

用户可通过 Hugging Face 数据集页面访问并下载该数据集,利用 Docker 环境复现评测流程。具体下载方式与文件直链请参考官方页面。

基本信息

记录数量未知
文件大小未知
文件格式json
数据来源HuggingFace
许可证Apache-2.0
案例数量230 个 CVE 案例
语言覆盖Go、JavaScript、Python
时间范围2015-2025
评测环境Docker 沙箱
数据落地页https://huggingface.co/datasets/ByteDance/PatchEval
发布日期2025-11-14
漏洞修复大语言模型评测基准CVEDocker

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费