Naylis 300M 四组消融实验产物集

机器学习
0 下载
2 浏览
2026-09-09

数据集简介

四个实验臂

本仓库把 Naylis 300M 受控研究的全部产物集中存放,四个臂目录并列,便于逐一对读:

目录 参数量 说明
naylis_mom_causal/ 282.8M 因果 MoM 参考模型,MoM 层即 Mixture-of-Memory 结构
vanilla/ 299.4M 稠密对照之一,标准 FFN
vanilla_thin_ffn/ 197.2M 稠密对照之二,FFN 更窄
DEPRECATED_naylis_graph_moe_leaky/ 282.8M 已废弃的泄漏路由版本

四个臂的参数量差异本身就是实验设计的一部分:vanilla 与 naylis_mom_causal 参数量接近,用于在相近容量下比较 MoM 与稠密 FFN;vanilla_thin_ffn 则给出更小容量下的参照点。

已废弃的泄漏路由臂

DEPRECATED_naylis_graph_moe_leaky/ 是四个臂中唯一被标记为废弃的目录。该版本的路由(routing)存在泄漏问题,因此其权重与日志仅作为研究过程记录保留,不宜作为最终模型结果引用。目录名中的 DEPRECATED 前缀是仓库给出的明确提示,使用前应先确认所引用的实验臂是否正确。

各臂统一的目录布局

每个实验臂内部结构完全一致,便于脚本批量读取:

  • config.json、generation_config.json:模型与生成配置
  • model.safetensors:bf16 精度权重
  • training_args.bin:训练参数记录
  • trainer_state.json:完整训练日志,含 loss、学习率、梯度范数,以及路由指标(entropy、dead frac、aux)
  • curves/:训练曲线 PNG

所有实验使用 seed 257,训练一个 epoch(约 152,439 步、5B token,Cosmopedia-V2 数据流),训练器与学习率计划一致,只有 FFN/记忆设计随臂变化。因此 trainer_state.json 中的 loss 与路由指标可直接跨臂对照,curves/ 下的 PNG 曲线也按同一横轴绘制。

模型的加载与评估

Naylis 架构并未进入 transformers 官方实现:NaylisLlamaForCausalLM 是 LlamaForCausalLM 的自定义子类,额外挂载了 MoM 层。因此 AutoModelForCausalLM.from_pretrained() 无法直接加载本仓库权重。仓库说明的获取方式是通过 GitHub 项目 Naylis 的评估脚本 download_model_from_hf 下载,再配合项目内的模型定义完成加载与评估。

来源与许可

本研究由 TheRealSkyline 发布,GitHub 项目名为 Naylis。仓库由原 naylis_mom_fixed 与 naylis_ablation_300M 两个仓库合并而成(合并日期 2026-10-03),原 naylis_mom_fixed 仓库现仅重定向至此处。代码、权重与曲线均以 MIT 许可开放。

基本信息

记录数量未知
文件大小总文件体积 4.27 GB;四个臂参数量分别为 282.8M(naylis_mom_causal)、
文件格式safetensors, JSON, PNG
数据来源TheRealSkyline
参数规模282.8M / 299.4M / 197.2M / 282.8M
训练数据量5B tokens
精度bf16
许可协议MIT
数据落地页https://huggingface.co/datasets/TheRealSkyline/naylis_ablation_300M
发布日期2026-09-09
大语言模型架构消融实验Mixture-of-Memory预训练模型权重

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费