Ultra-FineWeb-L3 英文多风格语料台湾繁体
自然语言
0 下载
2 浏览
2026-09-25
数据集简介
数据集说明
Ultra-FineWeb-L3-en-zhtw 是 openbmb/Ultra-FineWeb-L3 英文 multi_style 子集的台湾繁体中文译本。源子集属于多风格改写的网页预训练语料,本译本逐列翻译,目标语为台湾繁体中文。数据集以 Parquet 结构化文本发布,适合直接接入语言模型训练流水线,也可按平行语料方式读取。
数据来源
- 源数据集:openbmb/Ultra-FineWeb-L3,由 openbmb 发布。
- 译本作者与维护者:Liang Hsun Huang。
- 许可:Apache-2.0,沿用来源数据集许可。
- 仓库公开可访问,但需登录并同意分享 Hugging Face 信息、接受使用条件后,才能访问文件内容。
用途
直接用途:
- 作为台湾繁体中文预训练语料,用于语言模型持续预训练。
- 作为英中平行语料,用于翻译模型训练或评测。
- 用于跨语言对齐研究,英文原文与译文成对保留,便于逐条对照。
超出范围的用途:
- 译文由模型自动生成且未经人工标注,不宜作为人工标注金标准使用。
- 不应把本译本视为源英文语料的事实性权威版本。
数据结构
每条记录包含以下字段:
| 字段 | 说明 |
|---|---|
| uid | 来源自带的唯一识别码,未重算,可直接对回源数据 |
| style | 来源的 style 字段,本子集均为 multi_style |
| content | 英文原文 |
| content_zhtw | 台湾繁体中文译文 |
| chunk_count | 翻译时切分的块数,长文本会被拆分处理 |
| translation_error | 翻译环节的错误标记,用于自动守门 |
数据构建
整理动机:把英文多风格网页预训练语料扩展为台湾繁体中文版本,同时保留原文,使同一份数据既能用于中文预训练,也能用于英中对照任务。
源数据:openbmb/Ultra-FineWeb-L3 的 multi_style 子集,约 3.78 亿列。
标注方式:没有人工标注。译文由大型语言模型在固定提示词与固定取样参数下自动生成;长文本按块切分翻译,块数记入 chunk_count。流程中加入自动守门机制,拦截提示词泄漏与照抄未译等问题,相关结果反映在 translation_error 字段中。
偏差、风险与局限
- 译文完全由模型生成,可能存在误译、风格漂移或术语不一致。
- 源数据为多风格改写的网页文本,原文本身的噪声会传递到译文中。
- 台湾繁体中文的用词习惯与其它中文地区存在差异,跨地区使用时需注意。
- 自动守门只能拦截部分问题,不能保证逐条译文质量。
使用建议
- 使用前按 translation_error 与 chunk_count 过滤,剔除翻译异常或切分异常的长文本。
- 通过 uid 回溯源数据,核对原文与译文的对应关系。
- 若用于翻译模型评测,建议先抽样人工复核,再确定评测口径。
规模与翻译进度
源子集约 378,071,951 列。当前已完成 284,210,191 列,占 75.17%。总文件大小 668 GB。B300 批次已上传 274,801,935 列,共 11182 个 shard。数据集规模标注为 100M<n<1B。翻译进度会持续自动更新。
引用
数据集标题:Ultra-FineWeb-L3-en-zhtw: A Traditional Chinese Translation of the Ultra-FineWeb-L3 English Multi-Style Corpus。正式论文信息待补充。引用时请同时注明源数据集 openbmb/Ultra-FineWeb-L3。
数据集卡作者与联系方式
- 作者:Liang Hsun Huang
- 联系方式:通过 Hugging Face 数据集仓库页面联系维护者。
基本信息
记录数量未知
文件大小源子集约 378,071,951 列;已完成 284,210,191 列(75.17%);总文件大小 668 GB
文件格式Parquet
数据来源openbmb
许可协议Apache-2.0
数据规模100M<n<1B
字段uid, style, content, content_zhtw, chunk_count, translation_error
源数据集openbmb/Ultra-FineWeb-L3
数据落地页https://huggingface.co/datasets/lianghsun/ultra-fineweb-l3-en-zhtw
发布日期2026-09-25
台湾繁体中文预训练语料机器翻译平行语料多风格文本跨语言对齐
上架信息
数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载