门控 LoRA 多任务微调实验检查点
数据集简介
实验来源与基座模型
本数据集源自一项围绕门控 LoRA 的多任务微调实验,保存了实验过程中产生的 LoRA 专家池(expert pools)与门控网络(gating network)权重。实验覆盖的基座模型包括 Phi-2、Gemma-2、Llama-3.2、Pythia-410M、Qwen2.5-0.5B 与 SmolLM-360M,模型规模跨度从数亿参数到十亿级以下,便于在不同容量条件下比较专家组合与门控策略的效果。项目由 Helain ZIMMERMANN(Helain)维护,代码托管于 L1ZGitHub,相关实现可见 gated-lora 仓库。
目录结构与检查点组织
早期实验运行(2024-12 至 2025-01)的产物按 legacy/{model}/{run_name}/ 的层级存放,每个运行目录下包含第 500、1000 步等间隔检查点,以及 final_model 与 best_model 两个终态权重。2026-05 之后新增的基线运行与 Gated 运行不再沿用 legacy 路径,而是依照 paper-001 流水线的约定直接置于数据集顶层,形成新旧两套并行的组织方式。
训练日志字段
训练过程以表格化 JSON 记录日志,每条记录包含以下字段:
global_step:全局训练步数epoch:当前轮次batch_idx:批次序号best_eval_loss:迄今最佳评估损失warmup_completed:预热阶段是否完成total_train_loss:累计训练损失num_train_steps:总训练步数
这些字段可用于复现训练曲线、比较不同基座模型与运行配置的收敛行为。
子集与划分
数据集以 default 作为子集组织,并划分为 train 与 test 两个 split,分别对应训练与测试用途。
访问与引用
数据集在 HuggingFace 平台公开可访问,页面显示 isGated=false、isPrivate=false,未标注具体许可协议。发布页面为 https://huggingface.co/datasets/Helain/gated-lora-experiments,代码仓库为 https://github.com/L1ZGitHub/gated-lora。该数据集为硕士学位论文研究(Master's thesis research artifacts)的工作中产物,引用时请注明项目与作者。