Paite 语开放文本数据:词典、圣经对照与赞美诗
数据集简介
Paite 语与数据集合集
Paite 语(ISO 639-3: pck)属汉藏语系藏缅语族 Zomi 语支,使用人口有限,公开可用的机器可读文本稀少。本仓库由 Lamka Labs 维护,GitHub 仓库为 khooptong-sudo/paite-open-language-data,目标是把已有 Paite 文本集中存放为纯 JSON,让研究者、语言学习者与模型训练者无需自行抓取网页即可直接使用。数据覆盖研究、语言学习与大模型训练三类用途,面向机器翻译、拼写与语法检查等低资源语言 NLP 任务。
Paite 圣经文本采用 John Samte 的 Laisiangthou 译本,经其许可使用;John Samte 同时是 Laisiangthou Paite Bible app 的作者。
常见问题
- 数据以什么形式提供? 纯 JSON / JSONL 文件,训练集为逐行 JSONL,圣经按章拆分为 JSON 文件,无需爬虫。
- 能否直接用于训练模型? 可以,
training/parallel.jsonl已带固定 train/dev/test 划分。 - 授权是否统一? 不统一,原创部分、英文圣经、社区译文、Paite 圣经、旧版 Tedim-Paite 圣经、词典与赞美诗分别适用不同条款,详见下文。
- 商用是否可行? Paite 圣经商用需先征得 John Samte 同意;词典与赞美诗数据版权归原出版方或作者,仅限非商业研究、教育与语言保护用途。
目录与规模
仓库各部分内容与规模如下:
| 目录 / 文件 | 内容 | 规模 |
|---|---|---|
bible/laisiangthou/ |
按章存放的 Paite 圣经 JSON | 66 卷 1,189 章 31,104 节 |
bible/world-english-bible/ |
逐行一节英文经文 | 66 卷 31,103 节 |
bible/legacy-etabetapi/ |
旧版 Tedim-Paite 圣经 | 22 卷 408 章 |
dictionary/ |
英-Paite 词典,含词性 | 23,006 条 |
songs/ |
赞美诗歌词、英文标题、作者及 hymn-app 片段 | 573 首、846 个片段 |
paite_phrasebook.json |
合并查询文件,含 verified_words / verified_examples / verified_corrections / dictionary / song_titles 键 | 21,324 条词典条目与 573 首赞美诗 |
corrections.json |
母语者校对修正句 | — |
grammar_notes.md |
代词、动词、助词工作笔记 | — |
eval/ |
日常 Paite 模型评测集 | 16 句,持续增长 |
prompts/everyday_en.txt |
简单日常英文句 | 196 条 |
community/ |
经审核的 Paite Daily 翻译(CC0) | — |
压缩包为 Zenodo v1.1.0 的 14.1 MB,解压后总数据量 27.8 MB。
训练模型
训练入口为 training/parallel.jsonl,每行包含 id、paite、english、source、split 五个字段,可直接读入训练流程。文件已带固定 train/dev/test 划分,便于在不同实验中复用同一评测口径;各 split 的具体样本条数与比例未在数据说明中列出。Paite 圣经行与英文 World English Bible 逐节对齐,构成平行语料的主体;corrections.json 中的母语者校对句可用于纠错或质量校验。eval/ 提供 16 句日常 Paite 评测集,prompts/everyday_en.txt 提供 196 条简单日常英文句,可用于生成或提示实验。
授权与引用
数据以 Zenodo DOI 10.5281/zenodo.23664981 发布,版本 v1.1.0,发布日期为 2026 年 10 月 26 日,Zenodo 记录许可为 CC BY 4.0。各部分权利不同:原创部分(corrections.json、grammar_notes.md、phrasebook 中 verified_* 条目、README 等)为 CC BY 4.0;英文 World English Bible 为公有领域;community/ 为 CC0 1.0;Paite 圣经(bible/laisiangthou/ 及 training/ 中圣经行)经 John Samte 许可使用,商用需先征得同意;bible/legacy-etabetapi/、词典与赞美诗数据版权归原出版方或作者,仅限非商业研究、教育与语言保护用途。引用时请注明数据集名称、版本与 DOI。