ViuAI Sarus-500M 百亿 token 训练

自然语言
0 下载
2 浏览
2026-10-17

数据集简介

百亿 token 课程总览

该数据混合被标记为「OFFICIALLY LOCKED & FROZEN FOR PRODUCTION」,即配方已锁定并冻结,可直接用于正式训练。课程面向 ViuAI Sarus-500M(约 495M 参数)的继续预训练与中期退火训练,覆盖 Step 40,000 至 80,000+ 的训练区间。总量为精确的 100 亿 token(10.00 Billion Tokens),在配比上明显向对话与原生罗马化 Hinglish 倾斜。

支柱 token 预算 占比
多轮对话与会话 25 亿 25%
原生罗马化 Hinglish 与印度对话 10 亿 10%
学术 STEM、数学、逻辑与代码 47 亿 47%
英语↔印地语翻译与印地语百科 8 亿 8%
基础回放缓冲 10 亿 10%

多轮对话与会话语料

第一支柱投入 25 亿 token(占 25%),是配比中权重最高的对话类内容,用于强化模型的多轮问答与会话能力。其子数据集包括 HuggingFaceTB 的 smol-talk、HuggingFaceH4 的 ultrachat_200k 以及 Open-Orca 的 SlimOrca,三者按各自 token 预算汇入同一支柱。

原生罗马化 Hinglish 与印度对话

第二支柱投入 10 亿 token(占 10%),专门覆盖以拉丁字母书写的 Hinglish 文本与印度本地对话场景。素材来自 l3cube-pune 的 HingCorpus、sarvamai 的 samvaad-hi-v1,以及 microsoft 的 GLUECoS;后者用于补充印度语言混用场景下的对话与理解样本。

学术 STEM、数学、逻辑与代码

第三支柱投入 47 亿 token(占 47%),是整份课程中体量最大的一块,聚焦学术 STEM、数学推理、逻辑与代码能力。子数据集包括 Magpie-Align 的 Magpie-Reasoning 与 ise-uiuc 的 Magicoder-OSS-75K,分别承载推理类与代码类语料,与其余 STEM 素材共同构成该支柱的 token 预算。

英印翻译与印地语百科

第四支柱投入 8 亿 token(占 8%),覆盖英语与印地语之间的双向翻译以及印地语百科知识。素材来自 cfilt / IIT Bombay 的 HiEnCorp 与 iitb-english-hindi、ai4bharat 的 BPCC、wikimedia 的印地语维基百科(wikipedia hi)以及 google 的 pmindia,形成翻译平行语料与百科文本的组合。

基础回放缓冲

第五支柱投入 10 亿 token(占 10%),作为基础回放缓冲(Base Replay Buffer),在继续预训练与退火阶段保留基础分布样本,以缓解对原有能力的遗忘。该缓冲与前述四个能力支柱共同构成 100 亿 token 的完整课程。

执行与分片规格

课程同时给出了执行与分片规格(Execution & Sharding Specifications),用于指导数据在训练中的切分与调度。仓库页面提示缺少 YAML 元数据,数据集查看器因无法识别受支持的数据文件而不可用;文件级下载方式与分片细节需以仓库实际内容为准。

获取与引用

数据集通过 HuggingFace 公开仓库 ViuAI/viuai-500m-data 发布,发布日期为 2026-10-17,可在对应仓库页面浏览与获取。页面未声明具体许可条款,使用前建议核对仓库说明。

基本信息

记录数量未知
文件大小未知
文件格式未知
数据来源ViuAI
总 token 量100 亿
目标模型ViuAI Sarus-500M
发布日期2026-10-17
许可未声明
数据落地页https://huggingface.co/datasets/ViuAI/viuai-500m-data
大语言模型训练数据token 配比Hinglish代码与数学推理英印翻译

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费