Paite 语开放文本数据:词典、圣经对照与赞美诗

自然语言
0 下载
3 浏览
2026-10-26

数据集简介

Paite 语与数据集合集

Paite 语(ISO 639-3: pck)属汉藏语系藏缅语族 Zomi 语支,使用人口有限,公开可用的机器可读文本稀少。本仓库由 Lamka Labs 维护,GitHub 仓库为 khooptong-sudo/paite-open-language-data,目标是把已有 Paite 文本集中存放为纯 JSON,让研究者、语言学习者与模型训练者无需自行抓取网页即可直接使用。数据覆盖研究、语言学习与大模型训练三类用途,面向机器翻译、拼写与语法检查等低资源语言 NLP 任务。

Paite 圣经文本采用 John Samte 的 Laisiangthou 译本,经其许可使用;John Samte 同时是 Laisiangthou Paite Bible app 的作者。

常见问题

  • 数据以什么形式提供? 纯 JSON / JSONL 文件,训练集为逐行 JSONL,圣经按章拆分为 JSON 文件,无需爬虫。
  • 能否直接用于训练模型? 可以,training/parallel.jsonl 已带固定 train/dev/test 划分。
  • 授权是否统一? 不统一,原创部分、英文圣经、社区译文、Paite 圣经、旧版 Tedim-Paite 圣经、词典与赞美诗分别适用不同条款,详见下文。
  • 商用是否可行? Paite 圣经商用需先征得 John Samte 同意;词典与赞美诗数据版权归原出版方或作者,仅限非商业研究、教育与语言保护用途。

目录与规模

仓库各部分内容与规模如下:

目录 / 文件 内容 规模
bible/laisiangthou/ 按章存放的 Paite 圣经 JSON 66 卷 1,189 章 31,104 节
bible/world-english-bible/ 逐行一节英文经文 66 卷 31,103 节
bible/legacy-etabetapi/ 旧版 Tedim-Paite 圣经 22 卷 408 章
dictionary/ 英-Paite 词典,含词性 23,006 条
songs/ 赞美诗歌词、英文标题、作者及 hymn-app 片段 573 首、846 个片段
paite_phrasebook.json 合并查询文件,含 verified_words / verified_examples / verified_corrections / dictionary / song_titles 键 21,324 条词典条目与 573 首赞美诗
corrections.json 母语者校对修正句 —
grammar_notes.md 代词、动词、助词工作笔记 —
eval/ 日常 Paite 模型评测集 16 句,持续增长
prompts/everyday_en.txt 简单日常英文句 196 条
community/ 经审核的 Paite Daily 翻译(CC0) —

压缩包为 Zenodo v1.1.0 的 14.1 MB,解压后总数据量 27.8 MB。

训练模型

训练入口为 training/parallel.jsonl,每行包含 id、paite、english、source、split 五个字段,可直接读入训练流程。文件已带固定 train/dev/test 划分,便于在不同实验中复用同一评测口径;各 split 的具体样本条数与比例未在数据说明中列出。Paite 圣经行与英文 World English Bible 逐节对齐,构成平行语料的主体;corrections.json 中的母语者校对句可用于纠错或质量校验。eval/ 提供 16 句日常 Paite 评测集,prompts/everyday_en.txt 提供 196 条简单日常英文句,可用于生成或提示实验。

授权与引用

数据以 Zenodo DOI 10.5281/zenodo.23664981 发布,版本 v1.1.0,发布日期为 2026 年 10 月 26 日,Zenodo 记录许可为 CC BY 4.0。各部分权利不同:原创部分(corrections.json、grammar_notes.md、phrasebook 中 verified_* 条目、README 等)为 CC BY 4.0;英文 World English Bible 为公有领域;community/ 为 CC0 1.0;Paite 圣经(bible/laisiangthou/ 及 training/ 中圣经行)经 John Samte 许可使用,商用需先征得同意;bible/legacy-etabetapi/、词典与赞美诗数据版权归原出版方或作者,仅限非商业研究、教育与语言保护用途。引用时请注明数据集名称、版本与 DOI。

基本信息

记录数量未知
文件大小Zenodo v1.1.0 压缩包 14.1 MB,总数据量 27.8 MB
文件格式JSON, JSONL
数据来源Lamka Labs
版本v1.1.0
DOI10.5281/zenodo.23664981
许可CC BY 4.0(各部分不同)
语言Paite、英语
数据落地页https://github.com/khooptong-sudo/paite-open-language-data
发布日期2026-10-26
Paite语低资源语言平行语料机器翻译词典赞美诗

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费