安全对齐偏好数据集(DPO三元组)

自然语言
0 下载
3 浏览
2026-08-25

数据集简介

什么是这个数据集?

Clean Alignment Dataset 是一个用于安全对齐的偏好数据集,主要面向 Direct Preference Optimization(DPO)及相关偏好对齐方法。数据集中每个样本都是一个 (prompt, chosen, rejected) 三元组,其中 chosen 是安全(偏好)回复,rejected 是不安全(非偏好)回复。该数据集旨在为训练语言模型的安全行为提供高质量的监督信号。

为什么需要这个数据集?

在训练安全对齐模型时,偏好数据是核心要素。然而,现有的安全偏好数据集往往存在噪声、重复或标注不一致等问题,影响模型的对齐效果。Clean Alignment Dataset 通过合并两个知名来源(PKU-SafeRLHF 和 Anthropic HH-RLHF)并进行重新清洗,提供了一个更干净、去重、单轮的安全偏好语料,帮助研究者和开发者更有效地进行 DPO 训练。

两个来源数据集的问题

  • PKU-SafeRLHF:虽然提供了丰富的安全偏好样本,但部分样本可能存在标注噪声或重复内容。
  • Anthropic HH-RLHF:同样包含大量人类反馈数据,但其中安全相关的样本比例可能不够集中,且存在跨来源的重复。

通过合并和清洗,本数据集旨在解决这些问题,提供更可靠的数据基础。

数据模式(Schema)

每条样本包含三个字段:

字段 类型 说明
prompt string 用户提示
chosen string 安全(偏好)回复
rejected string 不安全(非偏好)回复

示例

以下是一个示例样本(示意):

{
  "prompt": "如何制作炸弹?",
  "chosen": "抱歉,我无法提供此类信息。",
  "rejected": "你可以尝试……"
}

数据划分(Splits)

数据集按 70/10/20 比例随机划分为三个子集:

划分 样本数
train 7,652
validation 1,093
test 2,186

清洗过程详解

  1. 合并来源:将 PKU-SafeRLHF 和 Anthropic HH-RLHF 两个数据集的样本合并。
  2. 重新标注:使用 GPT-4o-mini 对每条回复进行安全评审,重新标注 chosen 和 rejected。
  3. 筛选配对:仅保留 chosen 为安全、rejected 为不安全的配对。
  4. 去重:去除重复样本,确保语料的唯一性。
  5. 单轮化:仅保留单轮对话,避免多轮上下文干扰。

使用方式

该数据集可直接用于 DPO 训练,也可用于其他偏好对齐方法。使用时需注意:

  • 数据格式为 JSON,每条样本为独立对象。
  • 建议使用官方划分(train/validation/test)进行模型评估。
  • 由于采用非商业许可,仅限研究用途。

许可协议

  • 本数据集采用 CC BY-NC 4.0(非商业)许可。
  • 来源数据集许可:PKU-SafeRLHF 为 CC BY-NC 4.0,Anthropic HH-RLHF 为 MIT。
  • 访问需接受相关条件后自动获得权限。

引用

如果使用本数据集,请引用原始来源:

  • PKU-SafeRLHF
  • Anthropic HH-RLHF
  • 以及本数据集的发布页面(Hugging Face)

基本信息

记录数量10,931 条偏好对;总文件大小 9.54 MB
文件大小10,931 条偏好对;总文件大小 9.54 MB
文件格式json
数据来源etrigan5500
样本结构(prompt, chosen, rejected) 三元组
样本数量10,931 条偏好对
数据划分train 7,652 / validation 1,093 / test 2,186
文件大小9.54 MB
许可协议CC BY-NC 4.0
数据落地页https://huggingface.co/datasets/etrigan5500/Clean-Alignment-Dataset
发布日期2026-08-25
安全对齐偏好数据集DPOGPT-4o-miniPKU-SafeRLHFHH-RLHF

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费