YouTube字幕大规模文本数据集

自然语言
0 下载
14 浏览
2023-07-18

数据集简介

Pile-YoutubeSubtitles 是 The Pile 语料库的一个子集,由 EleutherAI 发布,旨在为语言建模提供大规模、多样化的文本数据。该数据集从 YouTube 视频中提取字幕文本,涵盖教育、娱乐、新闻、科技等多种主题和语言,为 NLP 模型的训练和研究提供了丰富的语料资源。

数据集详情

  • 发布机构:EleutherAI
  • 发布时间:2023-07-18
  • 数据规模:3.7GB
  • 数据格式:JSONL
  • 许可证:MIT
  • 发布首页:https://pile.eleuther.ai/

数据集文件

数据集以 JSONL(JSON Lines)格式存储,每行包含一条 JSON 对象,对应一条字幕记录。文件结构清晰,便于程序化读取和处理。

CLI/SDK 下载

用户可以通过 OpenDataLab 平台提供的 CLI 或 SDK 工具下载该数据集。具体下载方式请参考 OpenDataLab 官方文档。

数据介绍

字幕是视频中的文字翻译或解说,通常用于辅助听障人士理解视频内容或提供多语言字幕选项。该数据集收集了来自各种主题和领域的 YouTube 视频的字幕文本,为 NLP 研究提供了真实、多样的语言数据。

数据内容

每条数据记录包含以下字段:

  • id:记录唯一标识
  • source_id:来源标识
  • doc_id:文档标识
  • data_type:数据类型
  • data_source:数据来源
  • data_url:数据原始 URL
  • content:字幕文本内容
  • remark:备注,通常为 pile_set_name
  • sub_path:子路径

数据说明

该数据集适用于文本生成、机器翻译、语义理解等 NLP 任务。由于字幕文本来自真实视频,语言风格多样,有助于提升模型的泛化能力。

数据示例

以下为数据记录的结构示例(字段名与上述一致):

{
  "id": "...",
  "source_id": "...",
  "doc_id": "...",
  "data_type": "...",
  "data_source": "...",
  "data_url": "...",
  "content": "...",
  "remark": "pile_set_name",
  "sub_path": "..."
}

引文

如需引用该数据集,请参考 The Pile 论文:The Pile: An 800GB Dataset of Diverse Text for Language Modeling。

发布信息

  • 发布机构:EleutherAI
  • 发布日期:2023-07-18
  • 发布平台:OpenDataLab(https://opendatalab.com/OpenDataLab/Pile-YoutubeSubtitles)

基本信息

记录数量未知
文件大小3.7GB
文件格式jsonl
数据来源OpenDataLab
数据规模3.7GB
许可证MIT
发布机构EleutherAI
发布日期2023-07-18
数据落地页https://opendatalab.com/OpenDataLab/Pile-YoutubeSubtitles
YouTube字幕自然语言处理语料库文本数据The Pile

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费