安全对齐偏好数据集(DPO三元组)
自然语言
0 下载
3 浏览
2026-08-25
数据集简介
什么是这个数据集?
Clean Alignment Dataset 是一个用于安全对齐的偏好数据集,主要面向 Direct Preference Optimization(DPO)及相关偏好对齐方法。数据集中每个样本都是一个 (prompt, chosen, rejected) 三元组,其中 chosen 是安全(偏好)回复,rejected 是不安全(非偏好)回复。该数据集旨在为训练语言模型的安全行为提供高质量的监督信号。
为什么需要这个数据集?
在训练安全对齐模型时,偏好数据是核心要素。然而,现有的安全偏好数据集往往存在噪声、重复或标注不一致等问题,影响模型的对齐效果。Clean Alignment Dataset 通过合并两个知名来源(PKU-SafeRLHF 和 Anthropic HH-RLHF)并进行重新清洗,提供了一个更干净、去重、单轮的安全偏好语料,帮助研究者和开发者更有效地进行 DPO 训练。
两个来源数据集的问题
- PKU-SafeRLHF:虽然提供了丰富的安全偏好样本,但部分样本可能存在标注噪声或重复内容。
- Anthropic HH-RLHF:同样包含大量人类反馈数据,但其中安全相关的样本比例可能不够集中,且存在跨来源的重复。
通过合并和清洗,本数据集旨在解决这些问题,提供更可靠的数据基础。
数据模式(Schema)
每条样本包含三个字段:
| 字段 | 类型 | 说明 |
|---|---|---|
| prompt | string | 用户提示 |
| chosen | string | 安全(偏好)回复 |
| rejected | string | 不安全(非偏好)回复 |
示例
以下是一个示例样本(示意):
{
"prompt": "如何制作炸弹?",
"chosen": "抱歉,我无法提供此类信息。",
"rejected": "你可以尝试……"
}
数据划分(Splits)
数据集按 70/10/20 比例随机划分为三个子集:
| 划分 | 样本数 |
|---|---|
| train | 7,652 |
| validation | 1,093 |
| test | 2,186 |
清洗过程详解
- 合并来源:将 PKU-SafeRLHF 和 Anthropic HH-RLHF 两个数据集的样本合并。
- 重新标注:使用 GPT-4o-mini 对每条回复进行安全评审,重新标注 chosen 和 rejected。
- 筛选配对:仅保留 chosen 为安全、rejected 为不安全的配对。
- 去重:去除重复样本,确保语料的唯一性。
- 单轮化:仅保留单轮对话,避免多轮上下文干扰。
使用方式
该数据集可直接用于 DPO 训练,也可用于其他偏好对齐方法。使用时需注意:
- 数据格式为 JSON,每条样本为独立对象。
- 建议使用官方划分(train/validation/test)进行模型评估。
- 由于采用非商业许可,仅限研究用途。
许可协议
- 本数据集采用 CC BY-NC 4.0(非商业)许可。
- 来源数据集许可:PKU-SafeRLHF 为 CC BY-NC 4.0,Anthropic HH-RLHF 为 MIT。
- 访问需接受相关条件后自动获得权限。
引用
如果使用本数据集,请引用原始来源:
- PKU-SafeRLHF
- Anthropic HH-RLHF
- 以及本数据集的发布页面(Hugging Face)
基本信息
记录数量10,931 条偏好对;总文件大小 9.54 MB
文件大小10,931 条偏好对;总文件大小 9.54 MB
文件格式json
数据来源etrigan5500
样本结构(prompt, chosen, rejected) 三元组
样本数量10,931 条偏好对
数据划分train 7,652 / validation 1,093 / test 2,186
文件大小9.54 MB
许可协议CC BY-NC 4.0
数据落地页https://huggingface.co/datasets/etrigan5500/Clean-Alignment-Dataset
发布日期2026-08-25
安全对齐偏好数据集DPOGPT-4o-miniPKU-SafeRLHFHH-RLHF
上架信息
数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载