巴西葡语大模型预训练语料 Universo Brasil
数据集简介
语料来源与构建脉络
Universo Brasileiro 的文本并非从零采集,而是从 TucanoBR 发布的 GigaVerbo 葡语语料中经二次过滤与清洗得到,对应 GigaVerbo 的具体提交版本为 f9c1d6a554efe8d4f586ee8318d472ee3d215dde。GigaVerbo 本身是去重葡语文本语料的拼接成果,规模达 2000 亿 token;Universo Brasileiro 在其基础上做质量筛选,形成一套可直接用于预训练的巴西葡语子集。
该语料的直接用途是训练 ai-labs 项目的 MBP——一个循环语言模型(recurrent language model)。因此语料在组织上偏向「可训练、可过滤」:既保留原始文本,又为每条样本附带质量统计,方便在训练管线中按阈值取舍。项目相关署名包括 Nicholas Kluge Corrêa、Aniket Sen、Sophia Falk 与 Shiza Fatimah。
子集划分与数据规模
数据以 20 个子集组织,覆盖宗教、教育、法律、立法、学术、司法与维基文本等来源,包括 biblia、educapes、juridico、legislacao、scielo、stf、tcu、tjsp、trf5、wikilivros、wikisource,另有 default、dedup、embeddings、livro_aberto、livros、logica、reamat、tesemo、uminho 等。整体约 1.98 亿行,规模区间落在 1 亿至 10 亿行之间。
各子集行数差异明显,主要子集如下:
| 子集 | 行数 |
|---|---|
| default | 1.11 亿 |
| embeddings | 5980 万 |
| dedup | 1050 万 |
| juridico | 824 万 |
| tjsp | 626 万 |
| trf5 | 54 万 |
| stf | 46.2 万 |
| tcu | 44.3 万 |
| livros | 16.6 万 |
| scielo | 15.3 万 |
| legislacao | 2.8 万 |
| wikisource | 1.19 万 |
数据仅提供 train 一个切分,适合直接进入预训练流程。
字段结构与质量统计
每条记录以表格行承载,核心字段包括 doc_id、shard_idx、line_number、source_dataset、text、orig_label、orig_probs 等标识与文本列;质量与过滤统计则集中在 chars、words、lines、stopword_ratio、mattr、accent_frac、glued_frac、comp_ratio、nav_dropped、repeated_dropped、footer_dropped、pii_masked、minhash 等字段上。
这些字段对应几类可用信号:
- 长度与规模:chars、words、lines 给出样本粒度;
- 语言与文本质量:stopword_ratio 反映停用词占比,mattr 衡量词汇丰富度,accent_frac 记录重音字符比例,glued_frac 标记词语粘连情况;
- 冗余与噪声:comp_ratio 为压缩比,minhash 用于近重复检测,nav_dropped、repeated_dropped、footer_dropped 分别记录导航、重复与页脚内容的剔除;
- 隐私处理:pii_masked 标记个人身份信息掩码情况。
借助这些列,使用者可以在加载后按质量阈值过滤,而不必重新做一遍清洗。
格式、许可与加载方式
数据集以 parquet 格式发布,数据模态为表格加文本。在 Hugging Face 上可公开浏览与下载,并支持通过 Datasets、Dask、Polars 等工具加载。许可为 mixed-per-source,即混合许可、依各来源而定,使用者在二次分发或商用前需按子集回溯原始来源的授权条件。
数据页面同时提供 Data Studio、Files and versions、Community、Dataset Viewer 等浏览入口,可按子集与切分查看样本。