UltrafineWeb 高质量英文网页文本样本
自然语言
0 下载
2 浏览
2026-10-01
数据集简介
语料来源与定位
本数据集面向文本生成(Text Generation)任务,定位为高质量网页文本语料,用于语言模型训练。数据样本来自 Common Crawl 的 WARC 文件,经整理后以 parquet 格式发布,语言为英语,整体规模约 4350 万行,属于 1000 万至 1 亿行量级。数据集托管在 HuggingFace,发布账号为 insop。
记录结构与元数据字段
每条样本由 id、text 与 meta 三部分构成。text 为网页正文文本,meta 是以 JSON 字符串形式保存的元数据,包含以下字段:
| 字段 | 说明 |
|---|---|
| url | 网页地址 |
| language | 语种标识 |
| language_score | 语种判定得分 |
| warc_record_id | WARC 记录标识 |
| warc_date | WARC 采集日期 |
| source_file | 来源文件 |
| pii_emails / pii_ips / pii_phones / pii_id_cards / pii_credit_cards | 各类个人身份信息计数 |
| pred_label / pred_score | 预测标签与对应得分 |
借助上述字段,使用者可以在加载后按语言得分、预测标签或个人信息计数等条件进一步筛选文本。
获取与加载方式
数据集以 Apache 2.0 许可公开提供,可直接下载。HuggingFace 页面提供 Files and versions 下载入口,同时支持通过 Datasets、Dask、Polars 等库加载使用。
基本信息
记录数量43.5M rows(约 4350 万行);Size: 10M - 100M
文件大小未知
文件格式parquet
数据来源insop
数据规模43.5M rows
语言英语
许可协议Apache 2.0
任务类型文本生成
数据落地页https://huggingface.co/datasets/insop/ultrafineweb-l1-hq-score0.8-sample-100BT
发布日期2026-10-01
网页文本英文语料文本生成语言模型训练Common Crawl
上架信息
数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载