GSPC 治理安全评测板历史存档数据集
数据集简介
核心用途与定位
该数据集是 Council of AI(CSOAI Ltd, UK)GSPC 签署评测板的历史留档快照。其主要功能是对已签名的 GSPC 治理与安全评测运行结果进行逐条归档,记录每一道评测题、对应的预期标签、各个大模型的作答内容以及是否命中预期结果。这种结构化的记录方式使得研究人员能够利用原始行数据进行重新打分,或对评测板的逻辑进行独立审计。官方明确指出,该资源的核心价值在于“测量而非认证”(Measurement, not certification),即提供客观的评估数据而非最终的资格认证结论。
数据构成与规模
数据集整体规模介于 1 万至 10 万行之间,具体包含 9 个不同的子集,每个子集针对特定的评测维度或版本。官方统计显示,通过标准 API 接口可获取 15,580 条逐项行记录。各子集的具体行数分布如下:
- default:默认子集,包含 4,500 行数据。
- manifest:清单数据,共 221 行。
- peritem_care:关怀类评测项,800 行。
- peritem_gov:治理类评测项,1,190 行。
- peritem_jail:越狱测试项,2,590 行。
- v2_peritem_affect:情感影响评测项,779 行。
- v2_peritem_care:第二版关怀类评测项,3,800 行。
- v2_peritem_det:第二版检测类评测项,627 行。
- v2_peritem_swarm:第二版群体智能评测项,760 行。
数据模态为表格与文本混合(Tabular + Text),字段涵盖了 axis_item(轴线项目)、item(具体题目)、category(类别)、expected(预期标签)、model(模型名称)、raw(原始回答)、parsed(解析后回答)、correct(是否正确)、unparsed(未解析内容)以及 transport_error(传输错误标记)等关键信息。
文件格式与加载方式
数据集提供多种通用格式以供不同工具调用,包括 JSON、JSONL 和 Parquet。用户可以通过 Hugging Face Datasets 库直接加载,代码示例如下:
from datasets import load_dataset
ds = load_dataset("csoai/gspc-boards", split="train")
此外,数据也支持通过 OpenAPI 或 CDP discovery 接口进行探索,特别是针对 apex · Wave E 版本的实时能力与动态获取(Living GET)。
权威来源与更新机制
必须注意,Hugging Face 上的此版本是一个带有特定日期的历史快照(dated snapshot)。如果该存档数据与实时源存在不一致,实时源具有最高权威性。真正的实时权威数据应通过以下接口获取:
- 实时接口:GET https://councilof.ai/api/gspc
- 官方说明:The live board is the authority(实时看板是权威来源)
该数据集并非实时更新,而是对特定时间点(如 TUI7 distribution 2026-09-14 相关版本)的固化记录,适合需要复现特定历史评测场景的研究工作。
许可与引用
数据集采用 CC-BY-4.0 许可协议,允许公开免费下载和使用,但需注明出处。引用该数据集时请使用以下 DOI:
- DOI: doi:10.57967/hf/10108
发布方为 CSOAI Ltd (Council of AI),注册编号 16939677,位于英国。