Nemotron-CC D004 混合专家训练归档
数据集简介
仓库目录结构
归档按用途划分为多个目录,覆盖从原始输入到实验结果的全链路:
parquet/、metadata.json与数据清单:保存 Nemotron-CC D004 的输入分片、元数据与划分清单;resume-index/:记录数据流续跑位置索引;checkpoints/<run>/step-<N>/:存放原生分布式训练检查点;validation/<output-directory>/:存放 D004 指标、各 rank 分片、geometry 数据、充分统计量与后处理输出;paper-results/:主实验报告与分析;wikitext2/:WikiText-2 输入数据。
仓库根目录还包含 dispatch-global.json、dispatch-rank-*.json、population-rank-*.sqlite3、geometry-global.json、geometry-samples.pt、analysis/cluster_validity_summary.json、*--manifest.json、finalization-stage/ 与 wandb/ 等文件与目录。
D004 消融实验与多随机种子运行
归档共收录 15 组运行,合计 88 个保存检查点步骤。运行构成如下:
| 实验类别 | 组数 | 随机种子 |
|---|---|---|
| GGLR 消融实验 | 6 | seed-42 |
| GGLR / Sign Original / Sign Normalized 评估 | 9 | seed-42、43、44 |
多随机种子设计用于检验负载均衡方法在不同初始化下的稳定性,消融实验则聚焦 GGLR 在 seed-42 下的表现。
检查点格式与恢复要求
每个保存步骤都是原生 PyTorch Distributed Checkpoint(DCP),由 1 个隐藏的 .metadata 文件与 4 个分片文件组成,分片命名为 __0_0.distcp、__1_0.distcp、__2_0.distcp、__3_0.distcp。这类检查点并非可直接通过 from_pretrained 加载的模型包;要恢复训练,需要配套的训练代码、模型配置、tokenizer 与运行环境。
D004 验证输出与指标说明
validation/ 下每个输出目录保留 D004 指标、各 rank 分片、geometry 数据、充分统计量与后处理输出;每次 D004 验证记录 100,638,720 个 shifted targets。geometry-samples.pt 与 geometry-global.json 提供 geometry 样本与全局统计,analysis/cluster_validity_summary.json 汇总聚类有效性结果。