斯里兰卡议会辩论记录分块数据集

社会科学
0 下载
3 浏览
2026-07-28

数据集简介

数据来源与内容范围

本数据集的原始内容为斯里兰卡议会官方辩论记录(Hansard),来源站点为斯里兰卡议会官网 parliament.lk 的 Hansard 栏目。该栏目发布议会会议的逐字辩论记录,是研究斯里兰卡立法过程与政治话语的一手文献。数据集聚焦 2020 年代的 Hansard 文档,将其按段落或语义单元切分为块,形成结构化的分块版本,便于后续检索与文本处理。

数据结构与字段说明

数据集以表格加文本的形式组织,共 66.8k 行,涵盖 258 个 doc_id。每条记录包含以下字段:

  • doc_type:文档类型
  • doc_id:文档编号,共 258 个取值
  • date、date_str:文档日期
  • description:文档描述
  • url_metadata:来源元数据 URL
  • lang、language:语言标识
  • url_pdf:PDF 链接
  • chunk_id、chunk_index:分块编号与索引
  • md5:校验值
  • chunk_size_bytes:分块字节数
  • chunk_text:分块文本内容

数据划分为 default 子集与 train 划分,二者均包含 66.8k 行。

分块规模与格式

分块索引 chunk_index 的范围为 0 至 440,单块字节数 chunk_size_bytes 介于 224 至 5.7k 之间,分块文本长度介于 199 至 2.09k 字符。文件以 parquet 与 optimized-parquet 两种格式提供,可通过 Hugging Face Datasets、pandas、Polars 加载。

使用方式与许可

数据集在 Hugging Face 数据集页面公开免费获取,页面未明确标注具体许可条款。用户可直接通过 Hugging Face Datasets 库加载,或下载 parquet 文件后使用 pandas、Polars 等工具读取。

基本信息

记录数量未知
文件大小10K - 100K(66.8k 行,258 个 doc_id;chunk_index 0-440;chunk_size_bytes 224-5.7k;chunk_text 长度 199-2.09k)
文件格式parquet, optimized-parquet
数据来源nuuuwan
数据规模66.8k 行
文档数量258 个 doc_id
数据模态表格、文本
子集划分default、train
语言英语
数据落地页https://huggingface.co/datasets/nuuuwan/lk-hansard-2020s-chunks
发布日期2026-07-28
斯里兰卡议会Hansard辩论记录文本分块议会文献parquet

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费