巴西葡语大模型预训练语料 Universo Brasil

自然语言
0 下载
0 浏览
2026-10-26

数据集简介

语料来源与构建脉络

Universo Brasileiro 的文本并非从零采集,而是从 TucanoBR 发布的 GigaVerbo 葡语语料中经二次过滤与清洗得到,对应 GigaVerbo 的具体提交版本为 f9c1d6a554efe8d4f586ee8318d472ee3d215dde。GigaVerbo 本身是去重葡语文本语料的拼接成果,规模达 2000 亿 token;Universo Brasileiro 在其基础上做质量筛选,形成一套可直接用于预训练的巴西葡语子集。

该语料的直接用途是训练 ai-labs 项目的 MBP——一个循环语言模型(recurrent language model)。因此语料在组织上偏向「可训练、可过滤」:既保留原始文本,又为每条样本附带质量统计,方便在训练管线中按阈值取舍。项目相关署名包括 Nicholas Kluge Corrêa、Aniket Sen、Sophia Falk 与 Shiza Fatimah。

子集划分与数据规模

数据以 20 个子集组织,覆盖宗教、教育、法律、立法、学术、司法与维基文本等来源,包括 biblia、educapes、juridico、legislacao、scielo、stf、tcu、tjsp、trf5、wikilivros、wikisource,另有 default、dedup、embeddings、livro_aberto、livros、logica、reamat、tesemo、uminho 等。整体约 1.98 亿行,规模区间落在 1 亿至 10 亿行之间。

各子集行数差异明显,主要子集如下:

子集 行数
default 1.11 亿
embeddings 5980 万
dedup 1050 万
juridico 824 万
tjsp 626 万
trf5 54 万
stf 46.2 万
tcu 44.3 万
livros 16.6 万
scielo 15.3 万
legislacao 2.8 万
wikisource 1.19 万

数据仅提供 train 一个切分,适合直接进入预训练流程。

字段结构与质量统计

每条记录以表格行承载,核心字段包括 doc_id、shard_idx、line_number、source_dataset、text、orig_label、orig_probs 等标识与文本列;质量与过滤统计则集中在 chars、words、lines、stopword_ratio、mattr、accent_frac、glued_frac、comp_ratio、nav_dropped、repeated_dropped、footer_dropped、pii_masked、minhash 等字段上。

这些字段对应几类可用信号:

  • 长度与规模:chars、words、lines 给出样本粒度;
  • 语言与文本质量:stopword_ratio 反映停用词占比,mattr 衡量词汇丰富度,accent_frac 记录重音字符比例,glued_frac 标记词语粘连情况;
  • 冗余与噪声:comp_ratio 为压缩比,minhash 用于近重复检测,nav_dropped、repeated_dropped、footer_dropped 分别记录导航、重复与页脚内容的剔除;
  • 隐私处理:pii_masked 标记个人身份信息掩码情况。

借助这些列,使用者可以在加载后按质量阈值过滤,而不必重新做一遍清洗。

格式、许可与加载方式

数据集以 parquet 格式发布,数据模态为表格加文本。在 Hugging Face 上可公开浏览与下载,并支持通过 Datasets、Dask、Polars 等工具加载。许可为 mixed-per-source,即混合许可、依各来源而定,使用者在二次分发或商用前需按子集回溯原始来源的授权条件。

数据页面同时提供 Data Studio、Files and versions、Community、Dataset Viewer 等浏览入口,可按子集与切分查看样本。

基本信息

记录数量未知
文件大小198M 行(default 子集 111M 行,embeddings 59.8M 行,dedup
文件格式parquet
数据来源TucanoBR / GigaVerbo(giovanimds 发布)
数据模态表格、文本
语言葡萄牙语
子集数量20
切分train
许可mixed-per-source
来源版本f9c1d6a554efe8d4f586ee8318d472ee3d215dde
数据落地页https://huggingface.co/datasets/giovanimds/universo-brasileiro
发布日期2026-10-26
葡萄牙语语料预训练数据语言模型GigaVerbo文本质量过滤

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费