SourceBench 生成式搜索来源质量基准数据

自然语言
0 下载
0 浏览
2026-11-06

数据集简介

面向引用来源质量的评测设计

SourceBench 关注的是生成式搜索系统在回答中引用网络来源时,这些来源本身是否可靠、相关与可用。数据集以冻结快照的形式发布,意味着查询集合、页面文本与评分结果在发布时即固定下来,便于不同系统在同一口径下比较。

查询集合与页面文本

数据主体由两部分构成:

  • 100 条基准查询:覆盖评测所需的查询样本,是驱动各系统检索与生成、并触发来源引用的输入。
  • 已存储页面文本:评分时实际使用的网页正文副本,随数据一并保存,避免页面后续变动影响复现。

评测器依据这些页面文本对引用来源作出判断,因此页面文本是连接「系统输出」与「质量评分」的关键中间材料。

八维度评分与书面理由

评测器对 16 个参评系统分别给出八维度评分,并为每项评分附上书面理由。评分维度与理由共同构成可核查的评判记录:分数反映来源在各维度上的表现,理由则说明打分依据,便于研究者回看具体判断过程,也便于在复现实验中对照定位差异。

获取与引用

数据通过哈佛数据空间(Harvard Dataverse)公开免费获取,落地页为 https://dataverse.harvard.edu/ ,DOI 为 10.7910/DVN/UOLXDQ,建议在论文与衍生工作中以该 DOI 引用。数据发布(更新)日期为 2026 年 11 月 6 日。

基本信息

记录数量100 条基准查询;评测器对 16 个系统评分
文件大小未知
文件格式未知
数据来源Harvard Dataverse
DOI10.7910/DVN/UOLXDQ
许可公开免费获取
数据落地页https://doi.org/doi:10.7910/DVN/UOLXDQ
发布日期2026-11-06
生成式搜索来源质量评估基准评测引用可信度检索增强生成

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费