agbalu:卡拜尔语自然语言处理语料库

自然语言
0 下载
2 浏览
2026-10-14

数据集简介

从语料出发的卡拜尔语 NLP 项目

agbalu 在卡拜尔语中意为“源头”,项目以此命名,强调语料库是首要产物,模型建立在其之上。项目面向卡拜尔语(Taqbaylit,ISO 639-3 代码 kab,BCP-47 标签 kab-Latn)的自然语言处理,覆盖正字法规范化、平行语料、语音语料、基准套件以及模型发布等环节。

项目描述指出,卡拜尔语的语音资源较为丰富,文本资源却相对稀缺,且现有文本语料存在同形字符损坏的问题。因此,项目把语料库建设作为核心工作,从正字法规范化入手,为后续模型训练与评测提供一致、可复用的文本基础。

语料规模与构成

项目围绕多类语料展开建设,主要规模数据如下:

  • Common Voice v26.0:包含 571.29 验证小时的语音语料;
  • 卡拜尔语网页抓取:过滤后约 13.8M 词;
  • 去重文本语料:约 34.9M 词。

这些语料分别对应语音与文本两种模态,文本语料经过过滤与去重处理,语音语料则来自 Common Voice 的验证集划分。

正字法规范化与平行语料

项目以正字法规范化为起点,针对现有文本语料中的同形字符损坏问题进行统一处理,使文本在字符层面保持一致。在此基础上,项目整理平行语料与语音语料,为翻译、语音识别等任务提供对齐数据。平行语料与语音语料的具体语言对与时长构成,以项目发布的资源为准。

基准套件与模型资源

项目配套提供基准套件,用于在统一语料上评测模型表现。在 Hugging Face Hub 的 agbalu 组织下,项目公开了 26 个仓库,其中包括 16 个模型仓库、9 个数据集和 1 个组织 Space。模型方向覆盖编码器、翻译、语音识别、标点恢复、文字转换与分词器等。

许可与获取方式

项目代码与资源采用 Apache-2.0 许可;模型权重同样为 Apache-2.0,文本数据则保留其上游许可。用户可通过 huggingface.co/agbalu 获取项目在 Hugging Face Hub 上发布的仓库,源代码与项目入口见 GitHub 仓库 abderahmane-ai/agbalu。

基本信息

记录数量未知
文件大小未知
文件格式未知
数据来源abderahmane-ai
许可协议Apache-2.0
发布平台Hugging Face Hub
数据落地页https://github.com/abderahmane-ai/agbalu
发布日期2026-10-14
卡拜尔语自然语言处理语料库语音语料平行语料Apache-2.0

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费