OpenSeal-OLMo2 预训练数据重放路径索引集

自然语言
0 下载
2 浏览
2026-10-04

数据集简介

路径映射的设计

OpenSeal-OLMo2-Replay 服务于语言模型预训练数据的重放(replay)场景。原始 dclm 语料以 dclm/*.npy 的扁平文件形式存在,而在 Hugging Face Hub 上则被重新组织为 dclm/part_XXX/*.npy 的分片目录结构。数据集的核心内容就是这两套路径之间的对应表:每一行给出一个原始文件路径与它在 Hub 上的新路径,例如 dclm/0_00000.npy 对应 dclm/part_000/0_00000.npy。有了这份索引,按原始路径组织的训练脚本无需改写逻辑,即可通过查表把读取请求重定向到 Hub 上的分片文件。

字段与数据组织

数据集为文本模态,共 104,784 行,字段结构极简,只有两列:

字段 含义
original_path 原始 dclm 数据文件路径
hub_path 对应文件在 Hugging Face Hub 上的路径

数据以 parquet 与 npy 两种格式提供,默认子集为 default,划分方式为 train。页面标注的规模区间为 100K–1M,总文件体积约 115 GB。在 Data Studio 中可直接预览 original_path 与 hub_path 两列,逐行核对映射关系。

访问与使用

该数据集在 Hugging Face 上公开可访问,可直接下载,页面未标注具体许可协议。数据集由 NUS NLP Group(nusnlp)发布,发布日期为 2026-10-04,页面暂无 Dataset card。使用时可通过 Files and versions 浏览各分片文件,或在 Data Studio 中预览映射表;由于索引本身不包含语料文本,实际训练数据仍需按 hub_path 指向的 .npy 文件另行获取。

项目背景

该数据集属于 NUS NLP Group 的 OpenSeal 项目,面向大语言模型预训练数据的管理与复现。重放索引的独立发布,使得原始 dclm 文件与 Hub 分片之间的对应关系可以被单独引用与校验,而不必随语料正文一同分发。

基本信息

记录数量未知
文件大小104,784 行;总文件体积 115 GB
文件格式parquet, npy
数据来源新加坡国立大学自然语言处理组(NUS NLP Group)
字段original_path、hub_path
子集与划分default / train
规模区间100K–1M
许可未标注
数据落地页https://huggingface.co/datasets/nusnlp/OpenSeal-OLMo2-Replay
发布日期2026-10-04
预训练数据数据重放路径索引大语言模型dclmOpenSeal

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费