ViuAI Sarus-500M 百亿 token 训练
数据集简介
百亿 token 课程总览
该数据混合被标记为「OFFICIALLY LOCKED & FROZEN FOR PRODUCTION」,即配方已锁定并冻结,可直接用于正式训练。课程面向 ViuAI Sarus-500M(约 495M 参数)的继续预训练与中期退火训练,覆盖 Step 40,000 至 80,000+ 的训练区间。总量为精确的 100 亿 token(10.00 Billion Tokens),在配比上明显向对话与原生罗马化 Hinglish 倾斜。
| 支柱 | token 预算 | 占比 |
|---|---|---|
| 多轮对话与会话 | 25 亿 | 25% |
| 原生罗马化 Hinglish 与印度对话 | 10 亿 | 10% |
| 学术 STEM、数学、逻辑与代码 | 47 亿 | 47% |
| 英语↔印地语翻译与印地语百科 | 8 亿 | 8% |
| 基础回放缓冲 | 10 亿 | 10% |
多轮对话与会话语料
第一支柱投入 25 亿 token(占 25%),是配比中权重最高的对话类内容,用于强化模型的多轮问答与会话能力。其子数据集包括 HuggingFaceTB 的 smol-talk、HuggingFaceH4 的 ultrachat_200k 以及 Open-Orca 的 SlimOrca,三者按各自 token 预算汇入同一支柱。
原生罗马化 Hinglish 与印度对话
第二支柱投入 10 亿 token(占 10%),专门覆盖以拉丁字母书写的 Hinglish 文本与印度本地对话场景。素材来自 l3cube-pune 的 HingCorpus、sarvamai 的 samvaad-hi-v1,以及 microsoft 的 GLUECoS;后者用于补充印度语言混用场景下的对话与理解样本。
学术 STEM、数学、逻辑与代码
第三支柱投入 47 亿 token(占 47%),是整份课程中体量最大的一块,聚焦学术 STEM、数学推理、逻辑与代码能力。子数据集包括 Magpie-Align 的 Magpie-Reasoning 与 ise-uiuc 的 Magicoder-OSS-75K,分别承载推理类与代码类语料,与其余 STEM 素材共同构成该支柱的 token 预算。
英印翻译与印地语百科
第四支柱投入 8 亿 token(占 8%),覆盖英语与印地语之间的双向翻译以及印地语百科知识。素材来自 cfilt / IIT Bombay 的 HiEnCorp 与 iitb-english-hindi、ai4bharat 的 BPCC、wikimedia 的印地语维基百科(wikipedia hi)以及 google 的 pmindia,形成翻译平行语料与百科文本的组合。
基础回放缓冲
第五支柱投入 10 亿 token(占 10%),作为基础回放缓冲(Base Replay Buffer),在继续预训练与退火阶段保留基础分布样本,以缓解对原有能力的遗忘。该缓冲与前述四个能力支柱共同构成 100 亿 token 的完整课程。
执行与分片规格
课程同时给出了执行与分片规格(Execution & Sharding Specifications),用于指导数据在训练中的切分与调度。仓库页面提示缺少 YAML 元数据,数据集查看器因无法识别受支持的数据文件而不可用;文件级下载方式与分片细节需以仓库实际内容为准。
获取与引用
数据集通过 HuggingFace 公开仓库 ViuAI/viuai-500m-data 发布,发布日期为 2026-10-17,可在对应仓库页面浏览与获取。页面未声明具体许可条款,使用前建议核对仓库说明。