大模型幻觉检测标注基准数据集

机器学习
0 下载
18 浏览
2026-10-05

数据集简介

数据内容构成

数据集围绕开放域问答任务组织,每一行代表一条由大语言模型生成的答案记录。围绕同一条答案,记录中并列存放多类标注与判定结果:

  • 主要人工幻觉标签:由人工标注者给出的幻觉判断,作为基准标签;
  • 可选第二标注者标签:部分记录附带第二名标注者的独立判断,可用于考察标注者间一致性;
  • 自动 LLM-judge 标签:由大语言模型裁判给出的自动判定;
  • 词汇/NLI 基线输出:基于词汇匹配与自然语言推理方法得到的基线判定结果。

这种「同一答案、多种判定并存」的结构,使人工判断、模型裁判与基线方法可以在记录级别直接对照。

标注问题的研究用途

数据集的标题指向幻觉检测基准中的标注问题:幻觉标签本身依赖人的判断,而不同标注者、自动裁判与基线方法可能给出不一致的结论。借助主要人工标签与可选第二标注者标签,可以观察同一答案上人工判断的分歧;借助 LLM-judge 标签与词汇/NLI 基线输出,则可以把自动判定与人工判定放在同一批记录上比较。因此该数据适合用于分析标注一致性、评估自动裁判与基线的可靠性,以及构建更稳健的幻觉检测评测流程。

来源与获取方式

数据托管于 Harvard Dataverse,可通过其记录页获取。引用时请使用 DOI:10.7910/DVN/PCHISZ。数据集发布日期为 2026 年 10 月 5 日。

基本信息

记录数量未知
文件大小未知
文件格式表格(逐行记录)
数据来源Harvard Dataverse
DOI10.7910/DVN/PCHISZ
来源平台Harvard Dataverse
数据落地页https://doi.org/doi:10.7910/DVN/PCHISZ
发布日期2026-10-05
幻觉检测大语言模型开放域问答人工标注标注一致性LLM-judge

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费