NullPrime:无法凭肉眼判断素性的负对照数据集

机器学习
0 下载
0 浏览
2026-11-12

数据集简介

NullPrime 的设计目标

NullPrime 要回答的问题很具体:当答案无法从输入表面看出来时,模型会不会承认自己不知道。数据集中的每个条目都是一个整数,并带有 prime 或 composite 标签;所有数都与小于 B 的全部素数互素,因此「能否被小素数整除」这条最容易从素性中学到的规律被彻底移除。每个尺寸下素数占一半,标签平衡。

正因如此,NullPrime 可以作为任何声称「知道自己何时不知道」的方法的负对照:不确定性估计、弃答、选择性预测与 LLM 校准,都可以在这个数据集上检验其判断是否真的来自推理,而非表面线索。

证书与可核验性

数据集为每个数附带证书文件,命名形如 certificate-.txt 与 certificate-transformer-.txt,用于以程序方式核验素性标签。标签本身精确、确定,不依赖人工标注;证书的存在使任何使用者都能独立复核,而不必信任数据提供方的说法。

证书的运行方式

仓库提供构建与核验脚本:使用 python -m nullprime.build --out data/ 可重新生成数据,make_numbers.py 则用于自行生成新的数字,便于在相同构造规则下扩展评测集。代码以 MIT 许可发布,数据以 CC-BY-4.0 许可发布。

数据划分

每个尺寸包含 3,000 个素数加 3,000 个合数,按 70/30 做分层训练/测试划分,使两半都保持平衡,并重复 5 个随机种子。数据分为三种 splits:

  • null:与所有小于 B 的素数互素,prime/composite 平衡;
  • contrast:同范围但未经过滤;
  • easy:包含小于等于 13 的因子的合数。

两种配置分别为 10digit(区间 [1e9, 1e10),B=1000)与 15digit(区间 [1e14, 1e15),B=10,000)。每个数有 52 个特征:最后 12 位数字,加上该数对前 40 个素数(2, 3, 5 … 173)的余数。

不克隆仓库也能使用

CSV 文件可直接从 GitHub 下载(raw.githubusercontent.com 链接),无需克隆整个仓库;也可以运行 make_numbers.py 自行生成新数字。数据目录包含 10digit-null.csv、10digit-contrast.csv、10digit-easy.csv、15digit-null.csv、15digit-contrast.csv、15digit-easy.csv,每行一个数,含标签与特征。仓库目录还包括 data/、docs/、labels/、results/、scripts/、src/nullprime/、study2/、tests/,以及 PREREGISTRATION.md、CITATION.cff、.zenodo.json、costs.yaml 等文件。

预注册的模型测试与试用数字

数据集附带预注册的模型行为研究,登记于 OSF(osf.io/s2gv3 与 osf.io/cujxv)。模型测试中每个模型使用 450 个数字、四种提问方式。Study 2 另做 70 位数的工具使用实验,其中的试用数字为 2026-11-12 为 Study 2 写作新生成,不在数据集内。

引用与获取

数据集的持久标识为 Zenodo DOI 10.5281/zenodo.23747887,作者为 Brian Miedlar(ORCID 0009-0002-3168-6239),代码托管于 GitHub 仓库 bmiedlar/nullprime。引用信息见仓库中的 CITATION.cff 与 .zenodo.json。

基本信息

记录数量未知
文件大小未知
文件格式CSV, Markdown, TXT, Python, YAML, JSON
数据来源Brian Miedlar
代码许可MIT
数据许可CC BY 4.0
DOI10.5281/zenodo.23747887
配置10digit / 15digit
特征数52
数据落地页https://github.com/bmiedlar/nullprime
发布日期2026-11-12
素数判定不确定性估计模型校准弃答负对照预注册研究

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费