Bayan 阿拉伯语 PDF 问答语料库
自然语言
0 下载
3 浏览
2026-11-06
数据集简介
Bayan 阿拉伯语 PDF 问答项目
Bayan(بيان)的目标是回答针对固定阿拉伯语 PDF 文档集合提出的问题:系统需要给出答案所依据的文档与页码引用,并在文档中不含答案时明确拒答。技术路线为检索增强生成(RAG)。项目目前处于 Milestone 1 —— 数据集、EDA 与预处理流水线 阶段,仓库中同时提供数据文件与可复现的笔记本。
语料全部为原生数字 PDF,文本抽取只使用 PDF 内嵌文本层,不引入 OCR 或视觉模型,因此段落文本与原始版面中的字符保持一致。
corpus_v1 语料构成
第一版语料 corpus_v1 的筛选与切分结果如下:
| 项目 | 结果 |
|---|---|
| 文档 | 24 份原生数字阿拉伯语 PDF(共筛选 40 份,剔除 16 份) |
| 发布机构 | 世界卫生组织及东地中海区域办事处 14 份、联合国教科文组织 4 份、世界知识产权组织 5 份、国际电信联盟 1 份 |
| 页数 | 2,790 页 PDF 页面,经页级筛选保留 2,228 页 |
| 段落 | 6,729 个页内段落,每段约 120 词(数据集实例) |
| 词数 | 约 803,000 词 |
| 语言 | 现代标准阿拉伯语 |
| 许可 | 逐文档为 CC BY、CC BY-SA 或 CC BY-NC-SA 3.0 IGO,详见 DATA_LICENSES.md |
段落编号采用 <document_id>_p<pdf page, 4 digits>_<chunk index> 的形式,例如 who_10665_383109_p0060_0,可直接从编号回溯到文档与 PDF 页码。
仓库结构与数据文件
仓库按原始数据、中间产物与处理后数据分层组织:
data/corpus_v1/pdf/:24 份被接受的 PDF 原件。manifest_v1.csv:逐文档记录来源 URL、许可、SHA-256、计数、筛选决定与理由。passages_v1.jsonl:6,729 个段落,字段包括passage_id、file、pdf_page、words、exact_dup_of、text。page_scores_v1.jsonl:全部 6,033 个被筛页面的页级筛选指标。data/processed/passages_v1_processed.parquet:提供clean_text、retrieval_text、tfidf_text三种文本视图,分别对应清洗、检索与 TF-IDF 表示需求。
本地运行
在本地复现 Milestone 1 流程需要安装依赖并打开分析笔记本:
pip install -r requirements.txt
随后运行 notebooks/Bayan_Milestone1.ipynb。数据文件以 csv、jsonl 与 parquet 形式随仓库提供,PDF 原件位于 data/corpus_v1/pdf/,无需额外下载即可开始探索。
基本信息
记录数量未知
文件大小未知
文件格式PDF, CSV, JSONL, Parquet, IPYNB, PY
数据来源AhmedElkhateeb11 GitHub 仓库(大学 NLP 课程项目)
语言现代标准阿拉伯语
文档数量24 份
段落数量6,729 个
许可CC BY / CC BY-SA / CC BY-NC-SA 3.0 IGO
数据落地页https://github.com/AhmedElkhateeb11/bayan-arabic-pdf-qa
发布日期2026-11-06
阿拉伯语问答检索增强生成PDF 文档问答自然语言处理文本语料库
上架信息
数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载