斯里兰卡议会辩论记录分块数据集
社会科学
0 下载
3 浏览
2026-07-28
数据集简介
数据来源与内容范围
本数据集的原始内容为斯里兰卡议会官方辩论记录(Hansard),来源站点为斯里兰卡议会官网 parliament.lk 的 Hansard 栏目。该栏目发布议会会议的逐字辩论记录,是研究斯里兰卡立法过程与政治话语的一手文献。数据集聚焦 2020 年代的 Hansard 文档,将其按段落或语义单元切分为块,形成结构化的分块版本,便于后续检索与文本处理。
数据结构与字段说明
数据集以表格加文本的形式组织,共 66.8k 行,涵盖 258 个 doc_id。每条记录包含以下字段:
doc_type:文档类型doc_id:文档编号,共 258 个取值date、date_str:文档日期description:文档描述url_metadata:来源元数据 URLlang、language:语言标识url_pdf:PDF 链接chunk_id、chunk_index:分块编号与索引md5:校验值chunk_size_bytes:分块字节数chunk_text:分块文本内容
数据划分为 default 子集与 train 划分,二者均包含 66.8k 行。
分块规模与格式
分块索引 chunk_index 的范围为 0 至 440,单块字节数 chunk_size_bytes 介于 224 至 5.7k 之间,分块文本长度介于 199 至 2.09k 字符。文件以 parquet 与 optimized-parquet 两种格式提供,可通过 Hugging Face Datasets、pandas、Polars 加载。
使用方式与许可
数据集在 Hugging Face 数据集页面公开免费获取,页面未明确标注具体许可条款。用户可直接通过 Hugging Face Datasets 库加载,或下载 parquet 文件后使用 pandas、Polars 等工具读取。
基本信息
记录数量未知
文件大小10K - 100K(66.8k 行,258 个 doc_id;chunk_index 0-440;chunk_size_bytes 224-5.7k;chunk_text 长度 199-2.09k)
文件格式parquet, optimized-parquet
数据来源nuuuwan
数据规模66.8k 行
文档数量258 个 doc_id
数据模态表格、文本
子集划分default、train
语言英语
数据落地页https://huggingface.co/datasets/nuuuwan/lk-hansard-2020s-chunks
发布日期2026-07-28
斯里兰卡议会Hansard辩论记录文本分块议会文献parquet
上架信息
数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载