OpenSeal-OLMo2 预训练数据重放路径索引集
数据集简介
路径映射的设计
OpenSeal-OLMo2-Replay 服务于语言模型预训练数据的重放(replay)场景。原始 dclm 语料以 dclm/*.npy 的扁平文件形式存在,而在 Hugging Face Hub 上则被重新组织为 dclm/part_XXX/*.npy 的分片目录结构。数据集的核心内容就是这两套路径之间的对应表:每一行给出一个原始文件路径与它在 Hub 上的新路径,例如 dclm/0_00000.npy 对应 dclm/part_000/0_00000.npy。有了这份索引,按原始路径组织的训练脚本无需改写逻辑,即可通过查表把读取请求重定向到 Hub 上的分片文件。
字段与数据组织
数据集为文本模态,共 104,784 行,字段结构极简,只有两列:
| 字段 | 含义 |
|---|---|
| original_path | 原始 dclm 数据文件路径 |
| hub_path | 对应文件在 Hugging Face Hub 上的路径 |
数据以 parquet 与 npy 两种格式提供,默认子集为 default,划分方式为 train。页面标注的规模区间为 100K–1M,总文件体积约 115 GB。在 Data Studio 中可直接预览 original_path 与 hub_path 两列,逐行核对映射关系。
访问与使用
该数据集在 Hugging Face 上公开可访问,可直接下载,页面未标注具体许可协议。数据集由 NUS NLP Group(nusnlp)发布,发布日期为 2026-10-04,页面暂无 Dataset card。使用时可通过 Files and versions 浏览各分片文件,或在 Data Studio 中预览映射表;由于索引本身不包含语料文本,实际训练数据仍需按 hub_path 指向的 .npy 文件另行获取。
项目背景
该数据集属于 NUS NLP Group 的 OpenSeal 项目,面向大语言模型预训练数据的管理与复现。重放索引的独立发布,使得原始 dclm 文件与 Hub 分片之间的对应关系可以被单独引用与校验,而不必随语料正文一同分发。