DialFork 对话智能体程序性幻觉评测集
数据集简介
从事实性到程序性幻觉的评测目标
DialFork 面向对话式大语言模型智能体(LLM agent)的评测场景。当用户让智能体代为查询天气或执行多步任务时,智能体往往能给出措辞流畅、事实无误的回复,却可能在任务流程上偏离正确步骤——这类问题即数据集所定义的「程序性幻觉」。数据集配套论文题为《Going Beyond Factuality to Evaluate Procedural Hallucination in Conversational Agents》,其目标是在事实性之外,进一步衡量对话智能体在程序执行层面的可靠性。
对话分叉的构造方式
数据集的核心设计是在同一段对话的指定轮次进行分叉,由该分叉点派生出多个对话变体。借助这一结构,同一任务的不同变体可以相互对照,从而定位并检验智能体在流程推进中出现的偏差。数据中与分叉相关的字段包括 fork_position、fork_assistant_turn、fork_turn_index 与 variant_id,分别记录分叉位置、分叉处的助手轮次、分叉轮次索引与变体编号,便于按分叉点组织实验。
任务、领域与幻觉类型
数据覆盖 24 个任务与 12 个领域,并将幻觉归为 4 种类型,相关标注字段为 hallucination_type 与 hallucination_type_short。按任务划分的字段 task 与 task3_split 可用于构建训练与评测切分;kind 字段区分样本类别。整体规模为 3.63 万行,属于 10K–100K 量级,全部数据为英语。
字段结构与数据形态
数据以表格与文本混合模态呈现,每条记录包含对话标识 dialog_id、对话轮数 num_turns、轮次内容 turns 以及完整对话的 JSON 表示 dialog_json,主键字段为 id。字段设计兼顾结构化检索与整段对话读取,适合文本分类、文本检索等任务直接使用。
文件格式与获取方式
数据以 parquet 格式发布,版本为 v1,含单一 test 切分,共 3.63 万行。数据集采用 CC BY 4.0 许可,公开可下载,落地页为 HuggingFace 上的 DialFork/dialfork 页面,可通过页面提供的文件列表获取数据。
引用信息
使用本数据集时,请引用配套论文:Going Beyond Factuality to Evaluate Procedural Hallucination in Conversational Agents。数据集名称为 DialFork/dialfork。