大模型幻觉检测标注基准数据集
机器学习
0 下载
18 浏览
2026-10-05
数据集简介
数据内容构成
数据集围绕开放域问答任务组织,每一行代表一条由大语言模型生成的答案记录。围绕同一条答案,记录中并列存放多类标注与判定结果:
- 主要人工幻觉标签:由人工标注者给出的幻觉判断,作为基准标签;
- 可选第二标注者标签:部分记录附带第二名标注者的独立判断,可用于考察标注者间一致性;
- 自动 LLM-judge 标签:由大语言模型裁判给出的自动判定;
- 词汇/NLI 基线输出:基于词汇匹配与自然语言推理方法得到的基线判定结果。
这种「同一答案、多种判定并存」的结构,使人工判断、模型裁判与基线方法可以在记录级别直接对照。
标注问题的研究用途
数据集的标题指向幻觉检测基准中的标注问题:幻觉标签本身依赖人的判断,而不同标注者、自动裁判与基线方法可能给出不一致的结论。借助主要人工标签与可选第二标注者标签,可以观察同一答案上人工判断的分歧;借助 LLM-judge 标签与词汇/NLI 基线输出,则可以把自动判定与人工判定放在同一批记录上比较。因此该数据适合用于分析标注一致性、评估自动裁判与基线的可靠性,以及构建更稳健的幻觉检测评测流程。
来源与获取方式
数据托管于 Harvard Dataverse,可通过其记录页获取。引用时请使用 DOI:10.7910/DVN/PCHISZ。数据集发布日期为 2026 年 10 月 5 日。
基本信息
记录数量未知
文件大小未知
文件格式表格(逐行记录)
数据来源Harvard Dataverse
DOI10.7910/DVN/PCHISZ
来源平台Harvard Dataverse
数据落地页https://doi.org/doi:10.7910/DVN/PCHISZ
发布日期2026-10-05
幻觉检测大语言模型开放域问答人工标注标注一致性LLM-judge
上架信息
数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载