BeetleLM 归纳头相变机制可解释性指标集

医疗健康
0 下载
3 浏览
2026-09-20

数据集简介

逐检查点机制指标

数据集的核心内容是 Beetle 语言模型在训练过程中的逐检查点机制可解释性指标,用于观察归纳头(induction head)电路随训练推进而逐步成形的过程。数据同时包含表格与文本两种模态,标签为 interpretability。

按 config 组织的六种 schema

由于各文件的字段结构并不一致,数据集被拆分为 7 个 config,加载时应逐 config 进行:

config 行数
ablation 268
cascade_stages 15
final_revision 5
head_properties 5.71k
trajectories 1.96k
trajectories_hires 268
transition_fits 15

把整个目录当作单张表加载会因类型转换错误而失败,这正是需要按 config 分别加载的原因。数据集仅含 train 划分。

消融实验字段与取值

ablation 表给出消融实验的逐项记录,字段包括:

  • curriculum(string):课程设置,示例取值为 B1、B2
  • step(int64):训练步,示例取值为 4000、6000、8000、9000、10500、15000、25000
  • condition(string):消融条件,示例取值为 intact、top1_IH、top3_IH、top5_IH、random1、random3、random5、entropy_matched1、entropy_matched3、entropy_matched5
  • k(int64)
  • ar_acc(float64)
  • ar_mean_rank(float64)
  • n_heads_ablated(int64)

这些字段共同支撑对不同训练阶段、不同消融条件下模型行为的对照分析。

归纳头相变研究

数据集服务于 BeetleLM 中归纳头相变(Induction-head phase transition)的研究,目标是在训练轨迹上定位归纳电路的形成节点,并给出每个检查点对应的机制解释指标。轨迹类 config(trajectories、trajectories_hires)与过渡拟合类 config(transition_fits)分别承载训练轨迹与相变拟合结果,头部属性(head_properties)则提供归纳头的属性记录,级联阶段(cascade_stages)与最终修订(final_revision)补充阶段性结果。

使用注意事项

  • 按 config 分别加载,例如 datasets.load_dataset 指定 config 名称,避免整目录加载导致的 cast error。
  • 数据集以 parquet 格式提供,规模为 1K–10K 行。
  • 许可为 Apache-2.0,可公开免费下载。

引用信息

数据集标识为 suchirsalhan/beetle-phase-transition,项目标题为 Induction-head phase transition in BeetleLM,发布于 2026-09-20。

基本信息

记录数量未知
文件大小未知
文件格式parquet
数据来源suchirsalhan
数据规模1K - 10K 行
config 数量7
划分train
许可Apache-2.0
数据落地页https://huggingface.co/datasets/suchirsalhan/beetle-phase-transition
发布日期2026-09-20
可解释性归纳头语言模型相变消融实验

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费