PCBench:Python API 参数兼容性基准

机器学习
0 下载
9 浏览
2026-10-02

数据集简介

PCBench 是什么

PCBench 是一个大规模基准,用于评估 Python API 参数兼容性问题的检测与修复工具。它共包含 47,478 个测试用例,每个用例都标注了兼容性信息,覆盖来自 33 个流行 Python 第三方库的 844 个参数发生变化的 API。基准以代码片段与配置文件为主要数据形态,涉及 Python 代码、JSON、YAML 与 xlsx 表格。

与 PCBench 配套的 PCBench-D 使用同一组 33 个库,但关注点转向已弃用 API 与替代 API 之间的关系,以及弃用后的生命周期。

目录结构

仓库按「库 / API@V1-V2」组织,每个 API 版本对下存放描述参数变化的 APIV1.yml 与 APIV2.yml,以及按编号划分的测试用例目录,例如 test_case#1YY/test_case.py 与 test_case.json。汇总参数变化 API 的清单以 ChangedAPI.xlsx 表格提供,便于检索与核对。

虚拟环境安装

使用基准前需要为被测库准备虚拟环境。仓库说明中给出了虚拟环境的安装步骤,并提示虚拟环境包可从 Google Drive 或南京航空航天大学网盘获取,以便在本地复现测试用例所需的依赖环境。

参数变异生成测试用例示例

以函数 foo 为例,仓库演示了如何通过对参数进行变异来生成测试用例:先给出原始调用与变异后的调用,再据此构造 test_case.py 与对应的 test_case.json 标注文件,从而形成一条带兼容性标签的用例。该示例说明了从参数变化到可执行用例的完整路径。

使用方式

使用 PCBench 时,可按目录定位目标库与 API 版本对,读取 APIV1.yml 与 APIV2.yml 了解参数差异,再运行对应测试用例目录中的 test_case.py,并参考 test_case.json 中的兼容性标注进行判定。ChangedAPI.xlsx 可用于筛选需要关注的参数变化 API。

PCART 如何使用 PCBench

PCART 工具链将 PCBench 作为评估基准,用于检验其在 Python API 参数兼容性问题上的检测与修复能力。基准提供的带标注测试用例与参数变化描述,使工具的输出可以与标准答案逐条比对。

许可

仓库中的代码采用 GNU Affero General Public License v3.0;基准数据、文档与评估产物采用 Creative Commons Attribution 4.0 International License(CC BY 4.0)。

基本信息

记录数量未知
文件大小未知
文件格式py, json, yml, xlsx, png, tar.gz
数据来源PCART-tools
测试用例数47,478
参数变化 API 数844
覆盖库数33
代码许可AGPL-3.0
数据许可CC BY 4.0
数据落地页https://github.com/PCART-tools/PCBench
发布日期2026-10-02
Python API参数兼容性代码兼容性测试软件工程基准PCART

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费