BeetleLM 归纳头相变机制可解释性指标集
医疗健康
0 下载
3 浏览
2026-09-20
数据集简介
逐检查点机制指标
数据集的核心内容是 Beetle 语言模型在训练过程中的逐检查点机制可解释性指标,用于观察归纳头(induction head)电路随训练推进而逐步成形的过程。数据同时包含表格与文本两种模态,标签为 interpretability。
按 config 组织的六种 schema
由于各文件的字段结构并不一致,数据集被拆分为 7 个 config,加载时应逐 config 进行:
| config | 行数 |
|---|---|
| ablation | 268 |
| cascade_stages | 15 |
| final_revision | 5 |
| head_properties | 5.71k |
| trajectories | 1.96k |
| trajectories_hires | 268 |
| transition_fits | 15 |
把整个目录当作单张表加载会因类型转换错误而失败,这正是需要按 config 分别加载的原因。数据集仅含 train 划分。
消融实验字段与取值
ablation 表给出消融实验的逐项记录,字段包括:
- curriculum(string):课程设置,示例取值为 B1、B2
- step(int64):训练步,示例取值为 4000、6000、8000、9000、10500、15000、25000
- condition(string):消融条件,示例取值为 intact、top1_IH、top3_IH、top5_IH、random1、random3、random5、entropy_matched1、entropy_matched3、entropy_matched5
- k(int64)
- ar_acc(float64)
- ar_mean_rank(float64)
- n_heads_ablated(int64)
这些字段共同支撑对不同训练阶段、不同消融条件下模型行为的对照分析。
归纳头相变研究
数据集服务于 BeetleLM 中归纳头相变(Induction-head phase transition)的研究,目标是在训练轨迹上定位归纳电路的形成节点,并给出每个检查点对应的机制解释指标。轨迹类 config(trajectories、trajectories_hires)与过渡拟合类 config(transition_fits)分别承载训练轨迹与相变拟合结果,头部属性(head_properties)则提供归纳头的属性记录,级联阶段(cascade_stages)与最终修订(final_revision)补充阶段性结果。
使用注意事项
- 按 config 分别加载,例如 datasets.load_dataset 指定 config 名称,避免整目录加载导致的 cast error。
- 数据集以 parquet 格式提供,规模为 1K–10K 行。
- 许可为 Apache-2.0,可公开免费下载。
引用信息
数据集标识为 suchirsalhan/beetle-phase-transition,项目标题为 Induction-head phase transition in BeetleLM,发布于 2026-09-20。
基本信息
记录数量未知
文件大小未知
文件格式parquet
数据来源suchirsalhan
数据规模1K - 10K 行
config 数量7
划分train
许可Apache-2.0
数据落地页https://huggingface.co/datasets/suchirsalhan/beetle-phase-transition
发布日期2026-09-20
可解释性归纳头语言模型相变消融实验
上架信息
数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载