面向大语言模型训练的编码语料集

自然语言
0 下载
0 浏览
2026-10-27

数据集简介

仓库组织与来源划分

数据集按数据来源组织为多个子目录,便于在训练时按来源采样或配比。已知的子目录包括:

  • arabic:阿拉伯语文本编码
  • atlas_cot:atlas 系列链式推理(CoT)语料
  • atlas_think:atlas 系列思考过程语料
  • books:书籍类长文本
  • chat:对话类语料
  • Koriz-80k-v1:独立命名的子集

仓库根目录另含 README.md 与 .gitattributes,用于说明仓库信息与 Git LFS 跟踪规则。

文件命名与分片方式

各来源目录采用统一的命名约定:训练分片命名为 <name>_train*.bin,验证分片命名为 <name>_val*.bin,例如 arabic/arabic_train.bin 与 chat/chat_train49.bin。分片编号从 1 递增,便于按序加载或并行读取。chat 子集包含 49 个 train 分片与数十个 val 分片,是分片数量较多的来源之一。

每个目录还附带 <name>.progress.json 进度记录,用于标记该来源的编码处理进度;Koriz-80k-v1 目录下另有 seen_chunks.json,记录已处理的文本块。

数据格式与使用方式

数据以 .bin 二进制文件承载 token 序列,可直接被训练框架按固定数据类型读取为连续 token 流;配套的 json 文件仅作进度与块记录,不参与模型输入。使用时可按来源目录分别加载 train 与 val 分片,也可混合多个来源构建训练集。

许可与获取

仓库采用 Apache-2.0 许可,公开可下载且无需申请访问权限,页面最后更新时间为 2026 年 11 月 15 日。

基本信息

记录数量未知
文件大小未知
文件格式BIN, JSON, Markdown
数据来源ANWERFATEHY
附属文件JSON、Markdown
许可协议Apache-2.0
访问方式公开下载
数据划分train / val
来源目录arabic、atlas_cot、atlas_think、books、chat、Koriz-80k-v1
数据落地页https://huggingface.co/datasets/ANWERFATEHY/encoded_dataset_for_LLM_training
发布日期2026-10-27
大语言模型预训练语料Token编码二进制分片阿拉伯语语料对话数据

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费