Nemotron-CC D004 混合专家训练归档

自然语言
0 下载
2 浏览
2026-10-20

数据集简介

仓库目录结构

归档按用途划分为多个目录,覆盖从原始输入到实验结果的全链路:

  • parquet/、metadata.json 与数据清单:保存 Nemotron-CC D004 的输入分片、元数据与划分清单;
  • resume-index/:记录数据流续跑位置索引;
  • checkpoints/<run>/step-<N>/:存放原生分布式训练检查点;
  • validation/<output-directory>/:存放 D004 指标、各 rank 分片、geometry 数据、充分统计量与后处理输出;
  • paper-results/:主实验报告与分析;
  • wikitext2/:WikiText-2 输入数据。

仓库根目录还包含 dispatch-global.json、dispatch-rank-*.json、population-rank-*.sqlite3、geometry-global.json、geometry-samples.pt、analysis/cluster_validity_summary.json、*--manifest.json、finalization-stage/ 与 wandb/ 等文件与目录。

D004 消融实验与多随机种子运行

归档共收录 15 组运行,合计 88 个保存检查点步骤。运行构成如下:

实验类别 组数 随机种子
GGLR 消融实验 6 seed-42
GGLR / Sign Original / Sign Normalized 评估 9 seed-42、43、44

多随机种子设计用于检验负载均衡方法在不同初始化下的稳定性,消融实验则聚焦 GGLR 在 seed-42 下的表现。

检查点格式与恢复要求

每个保存步骤都是原生 PyTorch Distributed Checkpoint(DCP),由 1 个隐藏的 .metadata 文件与 4 个分片文件组成,分片命名为 __0_0.distcp、__1_0.distcp、__2_0.distcp、__3_0.distcp。这类检查点并非可直接通过 from_pretrained 加载的模型包;要恢复训练,需要配套的训练代码、模型配置、tokenizer 与运行环境。

D004 验证输出与指标说明

validation/ 下每个输出目录保留 D004 指标、各 rank 分片、geometry 数据、充分统计量与后处理输出;每次 D004 验证记录 100,638,720 个 shifted targets。geometry-samples.pt 与 geometry-global.json 提供 geometry 样本与全局统计,analysis/cluster_validity_summary.json 汇总聚类有效性结果。

基本信息

记录数量15 组运行、88 个保存检查点步骤;每个检查点包含 1 个隐藏 .metadata 文件与 4 个分片文件;每次 D004 验证记录 100,638,720 个 shifted targets
文件大小未知
文件格式parquet、json、sqlite3、pt、distcp
数据来源B4RryG
检查点格式PyTorch Distributed Checkpoint
运行组数15
检查点步骤数88
验证目标数100,638,720
数据落地页https://huggingface.co/datasets/B4RryG/charlie-moe-nemotroncc-d004
发布日期2026-10-20
混合专家模型负载均衡训练检查点消融实验可复现性分布式训练

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费