DialFork 对话智能体程序性幻觉评测集

自然语言
0 下载
0 浏览
2026-10-26

数据集简介

从事实性到程序性幻觉的评测目标

DialFork 面向对话式大语言模型智能体(LLM agent)的评测场景。当用户让智能体代为查询天气或执行多步任务时,智能体往往能给出措辞流畅、事实无误的回复,却可能在任务流程上偏离正确步骤——这类问题即数据集所定义的「程序性幻觉」。数据集配套论文题为《Going Beyond Factuality to Evaluate Procedural Hallucination in Conversational Agents》,其目标是在事实性之外,进一步衡量对话智能体在程序执行层面的可靠性。

对话分叉的构造方式

数据集的核心设计是在同一段对话的指定轮次进行分叉,由该分叉点派生出多个对话变体。借助这一结构,同一任务的不同变体可以相互对照,从而定位并检验智能体在流程推进中出现的偏差。数据中与分叉相关的字段包括 fork_position、fork_assistant_turn、fork_turn_index 与 variant_id,分别记录分叉位置、分叉处的助手轮次、分叉轮次索引与变体编号,便于按分叉点组织实验。

任务、领域与幻觉类型

数据覆盖 24 个任务与 12 个领域,并将幻觉归为 4 种类型,相关标注字段为 hallucination_type 与 hallucination_type_short。按任务划分的字段 task 与 task3_split 可用于构建训练与评测切分;kind 字段区分样本类别。整体规模为 3.63 万行,属于 10K–100K 量级,全部数据为英语。

字段结构与数据形态

数据以表格与文本混合模态呈现,每条记录包含对话标识 dialog_id、对话轮数 num_turns、轮次内容 turns 以及完整对话的 JSON 表示 dialog_json,主键字段为 id。字段设计兼顾结构化检索与整段对话读取,适合文本分类、文本检索等任务直接使用。

文件格式与获取方式

数据以 parquet 格式发布,版本为 v1,含单一 test 切分,共 3.63 万行。数据集采用 CC BY 4.0 许可,公开可下载,落地页为 HuggingFace 上的 DialFork/dialfork 页面,可通过页面提供的文件列表获取数据。

引用信息

使用本数据集时,请引用配套论文:Going Beyond Factuality to Evaluate Procedural Hallucination in Conversational Agents。数据集名称为 DialFork/dialfork。

基本信息

记录数量未知
文件大小未知
文件格式parquet
数据来源DialFork
数据规模36.3k 行
语言英语
许可协议CC BY 4.0
数据模态表格、文本
版本v1
数据落地页https://huggingface.co/datasets/DialFork/dialfork
发布日期2026-10-26
对话智能体程序性幻觉大语言模型评测对话数据集文本分类

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费