UltrafineWeb 高质量英文网页文本样本

自然语言
0 下载
2 浏览
2026-10-01

数据集简介

语料来源与定位

本数据集面向文本生成(Text Generation)任务,定位为高质量网页文本语料,用于语言模型训练。数据样本来自 Common Crawl 的 WARC 文件,经整理后以 parquet 格式发布,语言为英语,整体规模约 4350 万行,属于 1000 万至 1 亿行量级。数据集托管在 HuggingFace,发布账号为 insop。

记录结构与元数据字段

每条样本由 id、text 与 meta 三部分构成。text 为网页正文文本,meta 是以 JSON 字符串形式保存的元数据,包含以下字段:

字段 说明
url 网页地址
language 语种标识
language_score 语种判定得分
warc_record_id WARC 记录标识
warc_date WARC 采集日期
source_file 来源文件
pii_emails / pii_ips / pii_phones / pii_id_cards / pii_credit_cards 各类个人身份信息计数
pred_label / pred_score 预测标签与对应得分

借助上述字段,使用者可以在加载后按语言得分、预测标签或个人信息计数等条件进一步筛选文本。

获取与加载方式

数据集以 Apache 2.0 许可公开提供,可直接下载。HuggingFace 页面提供 Files and versions 下载入口,同时支持通过 Datasets、Dask、Polars 等库加载使用。

基本信息

记录数量43.5M rows(约 4350 万行);Size: 10M - 100M
文件大小未知
文件格式parquet
数据来源insop
数据规模43.5M rows
语言英语
许可协议Apache 2.0
任务类型文本生成
数据落地页https://huggingface.co/datasets/insop/ultrafineweb-l1-hq-score0.8-sample-100BT
发布日期2026-10-01
网页文本英文语料文本生成语言模型训练Common Crawl

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费