ftrace 问答归因评测数据集

自然语言
0 下载
0 浏览
2026-10-24

数据集简介

数据内容与字段构成

该数据集以 Wikidata 关系事实为对象,围绕「答案查询」组织样本。每行对应一条问答查询记录,核心字段包括:

  • uuid:样本唯一标识;
  • predicate_id:关系谓词编号,示例中出现 P1001、P101、P103 等 Wikidata 属性;
  • fact_key:事实键,用于定位具体关系事实;
  • target_norm:归一化后的目标答案;
  • n_proponents、n_proponent_sentences:支持该事实的佐证数量与支持句数量;
  • samples:样本相关字段。

上述字段共同支撑从查询到事实、再到支持证据的溯源链路。

模型预测与归因标记

数据集同时保存 base 模型与 ft 模型在答案上的表现,以及两种归因方法的学习结果:

字段 含义
ftrace_learned ftrace 方法的学习标记
trak_learned trak 方法的学习标记
base_top1、base_top3 base 模型 top1/top3 命中
ft_top1、ft_top3 ft 模型 top1/top3 命中
base_p_answer、ft_p_answer 两模型对答案的预测概率
base_beams、ft_beams 两模型的 beam 搜索结果

这些字段使数据集可直接用于 ftrace 与 trak 学习效果的对比,以及答案概率与 beam 结果的复核。

文件格式与划分

数据以表格与文本混合模态提供,文件格式为 json 与 parquet。数据集共 200 行,规模小于 1K,仅包含一个 validation 划分,子集为 default。页面提供在线预览与下载,可直接查看字段与样本内容。

来源与使用

数据集发布在 HuggingFace 平台,落地页为 lamsheeper-data-attribution/ftrace-answer-only-query,可公开在线预览与下载。数据集与 catt-bench、CATT 相关,发布日期为 2026-10-24。

基本信息

记录数量未知
文件大小未知
文件格式json, parquet
数据来源catt-bench
数据规模200 行
数据划分validation
模态表格与文本
数据落地页https://huggingface.co/datasets/lamsheeper-data-attribution/ftrace-answer-only-query
发布日期2026-10-24
知识图谱问答事实溯源模型归因ftracetrakWikidata

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费