Ultra-FineWeb-L3 英文多风格语料台湾繁体

自然语言
0 下载
2 浏览
2026-09-25

数据集简介

数据集说明

Ultra-FineWeb-L3-en-zhtw 是 openbmb/Ultra-FineWeb-L3 英文 multi_style 子集的台湾繁体中文译本。源子集属于多风格改写的网页预训练语料,本译本逐列翻译,目标语为台湾繁体中文。数据集以 Parquet 结构化文本发布,适合直接接入语言模型训练流水线,也可按平行语料方式读取。

数据来源

  • 源数据集:openbmb/Ultra-FineWeb-L3,由 openbmb 发布。
  • 译本作者与维护者:Liang Hsun Huang。
  • 许可:Apache-2.0,沿用来源数据集许可。
  • 仓库公开可访问,但需登录并同意分享 Hugging Face 信息、接受使用条件后,才能访问文件内容。

用途

直接用途:

  • 作为台湾繁体中文预训练语料,用于语言模型持续预训练。
  • 作为英中平行语料,用于翻译模型训练或评测。
  • 用于跨语言对齐研究,英文原文与译文成对保留,便于逐条对照。

超出范围的用途:

  • 译文由模型自动生成且未经人工标注,不宜作为人工标注金标准使用。
  • 不应把本译本视为源英文语料的事实性权威版本。

数据结构

每条记录包含以下字段:

字段 说明
uid 来源自带的唯一识别码,未重算,可直接对回源数据
style 来源的 style 字段,本子集均为 multi_style
content 英文原文
content_zhtw 台湾繁体中文译文
chunk_count 翻译时切分的块数,长文本会被拆分处理
translation_error 翻译环节的错误标记,用于自动守门

数据构建

整理动机:把英文多风格网页预训练语料扩展为台湾繁体中文版本,同时保留原文,使同一份数据既能用于中文预训练,也能用于英中对照任务。

源数据:openbmb/Ultra-FineWeb-L3 的 multi_style 子集,约 3.78 亿列。

标注方式:没有人工标注。译文由大型语言模型在固定提示词与固定取样参数下自动生成;长文本按块切分翻译,块数记入 chunk_count。流程中加入自动守门机制,拦截提示词泄漏与照抄未译等问题,相关结果反映在 translation_error 字段中。

偏差、风险与局限

  • 译文完全由模型生成,可能存在误译、风格漂移或术语不一致。
  • 源数据为多风格改写的网页文本,原文本身的噪声会传递到译文中。
  • 台湾繁体中文的用词习惯与其它中文地区存在差异,跨地区使用时需注意。
  • 自动守门只能拦截部分问题,不能保证逐条译文质量。

使用建议

  • 使用前按 translation_error 与 chunk_count 过滤,剔除翻译异常或切分异常的长文本。
  • 通过 uid 回溯源数据,核对原文与译文的对应关系。
  • 若用于翻译模型评测,建议先抽样人工复核,再确定评测口径。

规模与翻译进度

源子集约 378,071,951 列。当前已完成 284,210,191 列,占 75.17%。总文件大小 668 GB。B300 批次已上传 274,801,935 列,共 11182 个 shard。数据集规模标注为 100M<n<1B。翻译进度会持续自动更新。

引用

数据集标题:Ultra-FineWeb-L3-en-zhtw: A Traditional Chinese Translation of the Ultra-FineWeb-L3 English Multi-Style Corpus。正式论文信息待补充。引用时请同时注明源数据集 openbmb/Ultra-FineWeb-L3。

数据集卡作者与联系方式

  • 作者:Liang Hsun Huang
  • 联系方式:通过 Hugging Face 数据集仓库页面联系维护者。

基本信息

记录数量未知
文件大小源子集约 378,071,951 列;已完成 284,210,191 列(75.17%);总文件大小 668 GB
文件格式Parquet
数据来源openbmb
许可协议Apache-2.0
数据规模100M<n<1B
字段uid, style, content, content_zhtw, chunk_count, translation_error
源数据集openbmb/Ultra-FineWeb-L3
数据落地页https://huggingface.co/datasets/lianghsun/ultra-fineweb-l3-en-zhtw
发布日期2026-09-25
台湾繁体中文预训练语料机器翻译平行语料多风格文本跨语言对齐

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费