ShorList:密码学形式清单与扫描器评分基准
数据集简介
快速开始
ShorList 以清单文件为核心,配套一个生成器。使用者拿到仓库后,先读取清单中每一行的形式定义,再调用生成器把选定的行植入一个最小目录树,最后用待测扫描器对该目录树运行,得到评分。整个过程不依赖特定厂商的扫描器,任何能输出 CBOM 或密码学发现结果的工具都可以接入。
如何使用
清单以 forms/ 目录组织,每行记录一种公钥算法在源码与配置文本中可能出现的最小形式。生成器位于 generator/shorlist/adapters/,通过适配器把行内容落到具体文件形态上,再交给扫描器识别。仓库根目录的 VERSION 标明当前版本,LICENSE-DATA 与 LICENSE 分别对应数据与代码的许可。
为什么需要这样一份清单
密码学在源码和配置中的出现方式非常零散:它可能是一次 API 调用、一个字符串、一个配置键或配置值、一个注册表标识、一个 OID、一条曲线名、一段命令行参数,甚至只是一个文件格式声明。不同扫描器对这些形式的覆盖程度差异很大,缺少公共基准时,厂商与采购方很难比较识别能力。ShorList 把这些形式固定下来,使衡量有据可依。
度量单位:一行一种形式
清单的基本单位是「行」,每行描述一种形式,并规定扫描器应当报告的结果。每行还附带一手来源,说明该形式在真实世界中确实存在。自 0.2 版起,评分拆成三个维度分别计算:
- quantum:量子脆弱与后量子相关形式;
- weak:经典弱算法;
- defect:CWE 类误用形式。
三个维度分开评分,避免把不同性质的问题混为一谈。
它不衡量什么
ShorList 只针对「形式」层面,即密码学在文本中如何出现,以及扫描器能否正确识别并报告。它不评估扫描器对密码学实现正确性、协议安全性或密钥管理流程的判断能力,也不覆盖清单范围之外的形式。
v0.3 的范围
当前版本为 0.3.0,清单共 2099 行。其中 quantum 维度 1601 行,含 172 个诱饵;weak 维度 311 行,含 31 个诱饵;defect 维度 187 行,含 25 个诱饵。诱饵用于检验扫描器是否会误报,每行均带 negative 标记。
一行的结构
每行包含若干字段,便于机器读取与人工核对:
| 字段 | 说明 |
|---|---|
form_kind |
形式类别,取值为 api_call、api_string、config_key、config_value、registry_id、oid、curve_name、cli、file_format |
negative |
诱饵标记 |
| 评分 | quantum / weak / defect 三轴评分 |
| 来源 | 该形式的一手来源 |
清单文件以 md、json、yaml 三种格式提供,便于不同工具链读取。
运行生成器
生成器读取清单中的行,把每行植入最小目录树,然后调用扫描器打分。适配器层负责把抽象形式转换为具体文件内容,因此新增一种形式或接入一种新扫描器时,只需在适配器层扩展。
结果如何解读
扫描器在三个维度上分别得到分数,诱饵行用于观察误报情况。由于每行都有一手来源,得分可以追溯到具体形式,便于厂商定位覆盖缺口,也便于采购方在同等条件下比较不同产品。
0.3.0 的变更
0.3.0 在 0.2 版三轴评分的基础上继续扩充清单,当前共 2099 行,三个维度的行数与诱饵数如范围一节所述。版本号记录在仓库的 VERSION 文件中,便于引用时锁定具体版本。
贡献新行
清单接受社区贡献新行。贡献者需为每一行提供一手来源,说明该形式在真实代码或配置中的出处,并按既有字段结构填写 form_kind、negative 标记与三轴评分。
利益冲突
项目组在文档中单列利益冲突一节,提示使用者注意清单维护者与扫描器厂商之间可能存在的关联,确保基准的中立性。
引用方式
引用 ShorList 时请注明版本号与 DOI:10.5281/zenodo.23974515。当前版本为 0.3.0,发布日期为 2026 年 11 月 7 日。
许可
数据采用 CC BY 4.0 许可,生成器代码采用 Apache-2.0 许可。两者分别对应仓库中的 LICENSE-DATA 与 LICENSE 文件。公开免费,可通过 GitHub 仓库与 Zenodo DOI 获取。