印度议会文献语料库 Sansad Corpus
自然语言
0 下载
2 浏览
2026-09-28
数据集简介
语料库定位与文档来源
Sansad Corpus 面向文档问答(Document Question Answering)与文本检索(Text Retrieval)任务,服务于非商业研究。语料库收录印度人民院(Lok Sabha)与联邦院(Rajya Sabha)的议事文件,主题覆盖议会文献与公共政策。文档来源为 Digital Sansad 问答 API 与 Parliament eLibrary 两个官方渠道,每份文档均通过 SHA-256 映射到对应的官方来源记录及其原始 PDF 字节,从而在保留原始出处的前提下提供可检索的文本。
文本层与批次覆盖
每个批次(tranche)提供多种形态的数据,便于不同研究流程直接使用:
- 选定的官方 PDF 原始文件
- 页面级 Markdown 与纯文本
- JSON 与 Zstandard 压缩的 JSONL
- Parquet 表格与 DuckDB 快照
- WebDataset TAR 分片
- SHA-256 校验和
在结构上,manifest.jsonl 记录来源记录、bitstream 与文件之间的对应关系;页面级 JSON 则包含 route、engine、validation flags 及模型来源等字段,用于描述文本抽取过程。批次按有界范围分批上传,单个批次不意味着对议会文献的完整覆盖,除非某个发布版本明确声明完整性。
来源权利与使用限制
原始议会材料保留其来源权利,使用时应给予适当署名;数据集本身不主张全部原始材料属于公有领域。语料库以“其他(other)”许可公开提供,可直接下载(非 gated),限非商业研究用途。发布批次仅代表该批次所选文档,不构成对全部议会文献的完整收录。
基本信息
记录数量未知
文件大小未知
文件格式PDF、Markdown、TXT、JSON、JSONL、Parquet、TAR、DuckDB
数据来源Digital Sansad、Parliament eLibrary
许可其他(非商业研究)
下载方式公开可下载(非 gated)
校验方式SHA-256
数据落地页https://huggingface.co/datasets/bebhuvan1/sansad-corpus
发布日期2026-09-28
印度议会文献议事文件文档问答文本检索来源保留语料库
上架信息
数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载