DiagSafe 大模型安全诊断评测基准
数据集简介
概览
DiagSafe 由腾讯混元(Tencent-Hunyuan)构建,是一套面向大语言模型的安全诊断式评测基准。与仅给出二分类「安全/不安全」标签的做法不同,它把评测拆解到提示词级别:每条 prompt 都绑定一组可逐条判定的评分细则(rubric),由 LLM judge 依据细则给出判定并引用原文证据,使评测结果既能定位到具体条目,也能解释判定理由。
该基准同时覆盖单轮与多轮对话场景,并纳入普通有害请求、模板越狱、组合模板越狱、指令攻击等多种攻击形式,用于观察模型在不同攻击路径下的安全表现差异。
基准一览
| 维度 | 内容 |
|---|---|
| 提示词总量 | 3,489 条(DiagBase 2,401 · DiagAttack 1,088) |
| 语言 | 中文与英文约 1:1 |
| 对话形态 | 单轮 2,560 条;多轮 929 条(2–5 轮) |
| 标签体系 | 11 个一级 / 34 个二级 / 84 个三级标签 |
| 条款来源 | 中国、美国、欧盟等地区公开 AI 安全规范提炼的 204 条安全条款 |
| 评分方式 | prompt-level rubric,LLM judge 逐条判定并引用证据 |
DiagBase 与 DiagAttack
DiagBase 收录 2,401 条提示词,构成基准的基础安全测试集;DiagAttack 收录 1,088 条提示词,聚焦带有攻击构造的输入。二者合计 3,489 条,中英文比例约为 1:1,并同时包含单轮对话与 2–5 轮的多轮对话,便于在同一套标签体系下对比模型面对直接请求与攻击性请求时的响应差异。
评分细则与标签体系
标签体系由 11 个一级标签、34 个二级标签和 84 个三级标签组成,其底层依据是从中国、美国、欧盟等地区公开 AI 安全指南中蒸馏出的 204 条安全条款。三级结构让每条 prompt 都能落到较细的安全类别上,而不是停留在粗粒度分类。
在评分侧,每条 prompt 配有专属的安全条目与豁免范围,另设 8 个统一的有用性条目;LLM judge 按这些条目逐条判定,并引用证据支撑结论,从而把「是否安全」转化为可核查的多条目诊断结果。
更多诊断视角
除安全条目外,统一有用性条目使评测能够同时观察模型在安全约束下是否仍保持可用;豁免范围则用于界定哪些情形不应被简单判为违规。配合单轮与多轮、基础与攻击两组切分,使用者可以从语言、对话轮次、攻击形式与安全类别多个维度对模型表现进行切片分析。
仓库结构
代码仓库按数据、评测逻辑与展示层组织:
data/prompts/:3,489 条中英文 prompt、JSON Schema 与字段说明data/rubrics/:prompt-level rubric、JSON Schema 与渲染说明data/taxonomy/:84 标签分类体系的中英文版本、Schema 与完整标签树src/judge/:LLM judge 相关实现src/rubric/:评分细则处理逻辑scripts/run_eval.py:评测运行脚本configs/:评测配置dashboard/:在线 Dashboard 相关文件examples/:示例paper/DiagSafe.pdf:论文 PDF
安装与使用
数据与代码托管于 GitHub 公开仓库,数据集同步发布在 Hugging Face 的 tencent/DiagSafe 页面,采用 CC BY 4.0 许可,可公开获取与使用。使用时可从仓库获取 prompts、rubrics 与 taxonomy 三类 JSON 数据,参照各目录下的 Schema 与字段说明解析,再通过 scripts/run_eval.py 配合 configs/ 中的配置运行评测;dashboard/ 提供在线结果查看入口。论文见 arXiv 编号 2610.29225,仓库内同时提供 paper/DiagSafe.pdf。