Pile-FreeLaw 法律文本数据集

自然语言
0 下载
24 浏览
2023-07-18

数据集简介

数据介绍

Pile-FreeLaw 是 The Pile 项目的一部分,由 EleutherAI 发布,是一个面向法律文本的开放源代码数据集。该数据集旨在提供大量的法律相关文本,以支持自然语言处理和机器学习研究,涵盖法律条文、法规、法庭判决、法律评论等各类法律文档,涉及刑法、民法、商法、行政法等多个法律领域。数据集总规模约为 50.1GB(The Pile 原始统计为 51.15 GiB),以 JSONL 格式存储。

数据内容

Pile-FreeLaw 数据集包含来自法律条文、法规、法庭判决、法律评论等各类法律文档的文本,覆盖刑法、民法、商法、行政法等多个法律领域。每个数据条目包含以下字段:

  • id:唯一标识符
  • source_id:来源标识符
  • doc_id:文档标识符
  • data_type:数据类型
  • data_source:数据来源
  • data_url:数据 URL
  • content:文本内容
  • remark:备注
  • sub_path:子路径

这些字段提供了丰富的元信息,便于用户对数据进行筛选、检索和分析。

数据示例

以下为数据集中一个条目的示例结构(实际内容为法律文本):

{
  "id": "...",
  "source_id": "...",
  "doc_id": "...",
  "data_type": "...",
  "data_source": "...",
  "data_url": "...",
  "content": "...",
  "remark": "...",
  "sub_path": "..."
}

引文

如果您在研究中使用了此数据集,请引用 The Pile 项目相关论文:

The Pile: An 800GB Dataset of Diverse Text for Language Modeling

发布信息

  • 发布机构:EleutherAI
  • 发布时间:2023-07-18
  • 许可协议:MIT
  • 数据格式:JSONL
  • 数据规模:50.1GB(OpenDataLab)/ 51.15 GiB(The Pile 原始统计)

本数据集由 OpenDataLab 提供,您可以通过其平台访问和下载。

基本信息

记录数量未知
文件大小50.1GB
文件格式未知
数据来源OpenDataLab
数据规模50.1GB
许可协议MIT
数据落地页https://opendatalab.com/OpenDataLab/Pile-FreeLaw
发布日期2023-07-18
法律文本自然语言处理机器学习开源数据集The Pile

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费