非洲泛非学术知识语料库

自然语言
0 下载
2 浏览
2026-10-09

数据集简介

泛非学术知识语料库的定位

Africa Papers 是一个大规模、多领域的预训练语料库,专门汇集在非洲产生或关于非洲的学术文献。其收录范围并不局限于单一学科,而是横跨同行评审研究论文、预印本、农业手册以及各类科学文献,目标是为大语言模型提供来自非洲学术传统的系统性文本资源。语料由 AfriSpeech 整理,作者为 Mich-Seth Owusu(联系邮箱 michseth@afrispeech.org),并与 Ghana NLP 相关联。

在任务层面,该语料面向 text-generation 与 fill-mask 两类任务,子任务为 language-modeling,既可用于模型预训练,也可用于语言建模能力的评测。

全球人工智能中的盲区

现有大规模预训练语料在来源上高度集中于少数英语国家和地区的学术出版体系,非洲大陆的学术产出在通用语料中长期处于低可见度状态。Africa Papers 的构建正是针对这一结构性盲区:它把在非洲产生或关于非洲的同行评审论文、预印本、农业手册与科学文献集中起来,使非洲学术文本成为大语言模型训练数据中可被直接检索和使用的组成部分,而不是零散、边缘的补充材料。

非洲知识主权与科学话语权

该语料库在内容组织上强调非洲学术主体的完整性。其收录的文献覆盖社会科学与经济、医学与公共卫生、农业与粮食安全、工程与地球科学、计算机科学与人工智能、人文与文学、物理科学与数学、法学与治理等多个领域,使非洲学者在各学科中的研究成果以全文形态进入模型训练与评测流程。论文全文以保留版面信息的学术 Markdown 存储,尽量维持原始文献的章节、段落与排版结构,便于下游任务按学术文本的天然组织方式使用。

语料统计与领域分布

官方卡片给出的规模数据如下:

统计项 数值
论文数量 约 844,807 篇
文本规模 约 101.5 亿 tokens
分片数量 879 个 Parquet 分片
规模区间 100K < n < 1M

在数据组织上,语料采用 default 配置、train 划分,数据文件路径为 data/*.parquet。全文以保留版面信息的学术 Markdown 存储,分片则以 Parquet 格式分发,便于大规模加载与流式读取。

覆盖全部 54 个非洲主权国家

语料库在空间维度上系统索引了源自并聚焦于全部 54 个非洲主权国家的学术研究,覆盖范围不设国别抽样,而是以全大陆为边界组织文献。这一地理覆盖与前述多学科领域分布相结合,使 Africa Papers 同时具备学科广度与国别完整性,可用于考察不同非洲国家、不同学科方向在学术文本上的分布差异。

许可与获取方式

Africa Papers 采用 CC BY 4.0 许可,在 HuggingFace 以 default 配置、data/*.parquet 分片形式公开,免费开放获取。数据集页面发布于 2026-10-09,用户可直接从数据集页面下载全部分片用于预训练或评测。

引用信息

若在研究中使用本语料,可引用其官方名称 Africa Papers: The Pan-African Academic Knowledge Corpus,并注明整理方 AfriSpeech 与作者 Mich-Seth Owusu。

基本信息

记录数量未知
文件大小未知
文件格式Parquet, Markdown
数据来源AfriSpeech
全文格式Markdown
论文数量约 844,807 篇
文本规模约 101.5 亿 tokens
分片数量879
配置与划分default / train
许可协议CC BY 4.0
覆盖范围54 个非洲主权国家
数据落地页https://huggingface.co/datasets/AfriSpeech/africa-papers
发布日期2026-10-09
非洲学术文献预训练语料大语言模型多学科学术Markdown

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费