Naylis 300M 四组消融实验产物集
数据集简介
四个实验臂
本仓库把 Naylis 300M 受控研究的全部产物集中存放,四个臂目录并列,便于逐一对读:
| 目录 | 参数量 | 说明 |
|---|---|---|
naylis_mom_causal/ |
282.8M | 因果 MoM 参考模型,MoM 层即 Mixture-of-Memory 结构 |
vanilla/ |
299.4M | 稠密对照之一,标准 FFN |
vanilla_thin_ffn/ |
197.2M | 稠密对照之二,FFN 更窄 |
DEPRECATED_naylis_graph_moe_leaky/ |
282.8M | 已废弃的泄漏路由版本 |
四个臂的参数量差异本身就是实验设计的一部分:vanilla 与 naylis_mom_causal 参数量接近,用于在相近容量下比较 MoM 与稠密 FFN;vanilla_thin_ffn 则给出更小容量下的参照点。
已废弃的泄漏路由臂
DEPRECATED_naylis_graph_moe_leaky/ 是四个臂中唯一被标记为废弃的目录。该版本的路由(routing)存在泄漏问题,因此其权重与日志仅作为研究过程记录保留,不宜作为最终模型结果引用。目录名中的 DEPRECATED 前缀是仓库给出的明确提示,使用前应先确认所引用的实验臂是否正确。
各臂统一的目录布局
每个实验臂内部结构完全一致,便于脚本批量读取:
config.json、generation_config.json:模型与生成配置model.safetensors:bf16 精度权重training_args.bin:训练参数记录trainer_state.json:完整训练日志,含 loss、学习率、梯度范数,以及路由指标(entropy、dead frac、aux)curves/:训练曲线 PNG
所有实验使用 seed 257,训练一个 epoch(约 152,439 步、5B token,Cosmopedia-V2 数据流),训练器与学习率计划一致,只有 FFN/记忆设计随臂变化。因此 trainer_state.json 中的 loss 与路由指标可直接跨臂对照,curves/ 下的 PNG 曲线也按同一横轴绘制。
模型的加载与评估
Naylis 架构并未进入 transformers 官方实现:NaylisLlamaForCausalLM 是 LlamaForCausalLM 的自定义子类,额外挂载了 MoM 层。因此 AutoModelForCausalLM.from_pretrained() 无法直接加载本仓库权重。仓库说明的获取方式是通过 GitHub 项目 Naylis 的评估脚本 download_model_from_hf 下载,再配合项目内的模型定义完成加载与评估。
来源与许可
本研究由 TheRealSkyline 发布,GitHub 项目名为 Naylis。仓库由原 naylis_mom_fixed 与 naylis_ablation_300M 两个仓库合并而成(合并日期 2026-10-03),原 naylis_mom_fixed 仓库现仅重定向至此处。代码、权重与曲线均以 MIT 许可开放。