大语言模型数据归因基准分数集(含诱饵文档)

机器学习
0 下载
13 浏览
2026-09-07

数据集简介

带诱饵的函数绑定归因分数

本条目对应「Function Bindings with distractors」任务上的完整归因分数集合,是论文《Elucidating the Design Space of LM Data Attribution》的配套基准数据,服务于 Qwen3.5-4B-d0-vtok101-distr-lora-seeds 这一 LoRA 适配器。任务设计的关键在于:每个真实文档旁都放置一个诱饵(decoy),即一个影子函数 ,它与 在同一模板中教授同一常量。这样一来,候选池规模翻倍,归因方法不仅要找回真正影响模型行为的训练文档,还要抵抗与查询高度相似的干扰项。

数据覆盖 3 种函数数量 × 7 种文档数量 × 4 个随机种子,并由 5 类方法给出分数。除常规的 Recall@N、AUC 与 per-fact 指标外,metrics.json 还专门加入 decoy_auc(真实文档对查询自身诱饵的区分能力)与 decoy_top1,用于衡量方法在强干扰下的稳健性。

目录与文件组织

数据按 {run}/{group}/ 两级目录组织。run 命名形如 f{F}_{N}d_sd{seed},其中函数数量 F 取 25、50、100,文档数量 N 取 1、5、10、30、50,随机种子取 1001、1002、1003。group 包括 ekfac、sketch、trakjl、tracin、source、tracinfull 以及 bm25/repsim,对应不同的打分方法族。

每个 group 目录下包含以下文件:

  • scores.{method}.{arm}.npz:一个 [query, train] 分数矩阵;
  • scores.npz:该 group 的第一个 method 与 arm 的分数;
  • tokens.{method}.{loss}.npz:逐 token 项,形状为 [query, token];
  • tokens.meta.npz:token 偏移、标签与 p(correct);
  • metrics.json:Recall@N、AUC、per-fact 指标,以及以 "method@arm" 为键的汇总;
  • config.json:全部参数与来源信息。

scores 文件内部字段包括 scores、train_uids、train_func、train_role、train_source、query_uids、query_func、query_correct、method、arm、convention、orientation、git_commit 与 git_dirty,便于逐项核对分数矩阵的行列语义与生成环境。

打分臂(arm)设置

每个方法可在 8 种 arm 下产生分数:ce、ce_top3、ce_top10、margin、margin_sum、margin_docw、margin_top3、margin_top10。这些 arm 对应不同的聚合与截断策略,使同一方法能够在多种打分口径下比较,从而支撑论文中关于设计空间的分析。

单个分数文件示例

以 scores.{method}.{arm}.npz 为例,其核心是 [query, train] 二维分数矩阵:行对应查询,列对应训练文档。配合 train_uids、query_uids 等标识字段,可直接把某一查询对全部训练文档的归因分数取出,再与 metrics.json 中的 Recall@N、AUC 及 decoy 相关指标对照。逐 token 文件 tokens.{method}.{loss}.npz 则把分数细化到 token 粒度,tokens.meta.npz 提供 token 偏移、标签与 p(correct),可用于分析归因信号在序列内部的分布。

版本与许可

当前目录布局自 2026-09-30 起沿用。数据集以 MIT 许可公开,可在 HuggingFace 数据集页面直接下载,总文件大小为 63.7 GB。数据集的发布/更新日期为 2026-09-07。

基本信息

记录数量未知
文件大小63.7 GB
文件格式npz, json
数据来源Lamsheeper Data Attribution
许可MIT
总文件大小63.7 GB
任务Function Bindings with distractors
基础模型Qwen3.5-4B-d0-vtok101-distr-lora-seeds
数据落地页https://huggingface.co/datasets/lamsheeper-data-attribution/vtok101-distr-attribution-baselines
发布日期2026-09-07
数据归因大语言模型基准分数LoRA适配器可解释性诱饵文档

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费