ftrace 问答归因评测数据集
自然语言
0 下载
0 浏览
2026-10-24
数据集简介
数据内容与字段构成
该数据集以 Wikidata 关系事实为对象,围绕「答案查询」组织样本。每行对应一条问答查询记录,核心字段包括:
uuid:样本唯一标识;predicate_id:关系谓词编号,示例中出现 P1001、P101、P103 等 Wikidata 属性;fact_key:事实键,用于定位具体关系事实;target_norm:归一化后的目标答案;n_proponents、n_proponent_sentences:支持该事实的佐证数量与支持句数量;samples:样本相关字段。
上述字段共同支撑从查询到事实、再到支持证据的溯源链路。
模型预测与归因标记
数据集同时保存 base 模型与 ft 模型在答案上的表现,以及两种归因方法的学习结果:
| 字段 | 含义 |
|---|---|
ftrace_learned |
ftrace 方法的学习标记 |
trak_learned |
trak 方法的学习标记 |
base_top1、base_top3 |
base 模型 top1/top3 命中 |
ft_top1、ft_top3 |
ft 模型 top1/top3 命中 |
base_p_answer、ft_p_answer |
两模型对答案的预测概率 |
base_beams、ft_beams |
两模型的 beam 搜索结果 |
这些字段使数据集可直接用于 ftrace 与 trak 学习效果的对比,以及答案概率与 beam 结果的复核。
文件格式与划分
数据以表格与文本混合模态提供,文件格式为 json 与 parquet。数据集共 200 行,规模小于 1K,仅包含一个 validation 划分,子集为 default。页面提供在线预览与下载,可直接查看字段与样本内容。
来源与使用
数据集发布在 HuggingFace 平台,落地页为 lamsheeper-data-attribution/ftrace-answer-only-query,可公开在线预览与下载。数据集与 catt-bench、CATT 相关,发布日期为 2026-10-24。
基本信息
记录数量未知
文件大小未知
文件格式json, parquet
数据来源catt-bench
数据规模200 行
数据划分validation
模态表格与文本
数据落地页https://huggingface.co/datasets/lamsheeper-data-attribution/ftrace-answer-only-query
发布日期2026-10-24
知识图谱问答事实溯源模型归因ftracetrakWikidata
上架信息
数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载