尼泊尔语政府公文OCR微调语料
数据集简介
快速上手
语料以 parquet 分片托管,图像以 JPEG 原始字节随行存储,标注与问答字段以 JSON 字符串形式写入同一行。加载时可直接按子集读取;回放类子集需要显式传入列名,例如 columns=["image","image_w","image_h","prompt","target","source","config"],以免一次性拉取全部结构化列。结构化字段需用 json.loads 解析后使用。
子集构成
数据集共 8 个子集,配置名包括 pages、crops、organic 与若干 replay_* 回放子集。其中 pages 子集 216,573 行 / 176.3 GB,crops 子集 125,000 行 / 19.2 GB;回放子集承载通用 VQA、英文文档问答与手写数学题等内容。全部子集合计 1,275,821 行(去重后约 1.23M),总体积 294.5 GB。
文档类别(pages)
pages 子集覆盖 128 种尼泊尔政府文档类型,归入 12 个大类、47 个子类,既包含合成版面,也包含真实版面页面。类别字段可支撑按文档类型筛选与分层采样,便于在微调时控制不同公文类型的配比。
字段结构
pages 子集的主要字段如下:
| 字段 | 说明 |
|---|---|
image、image_w、image_h |
图像字节与宽高 |
prompt、target |
输入提示与目标输出 |
source、config |
数据来源与子集配置 |
bboxes_norm、regions_norm |
归一化词框与版面区域 |
word_boxes_norm、word_texts |
词级框与对应文本 |
sharegpt、phrases |
对话式标注与短语信息 |
bboxes、augmentations |
原始框坐标与增强记录 |
其中 bboxes_norm、regions_norm、sharegpt 等结构化字段以 JSON 字符串存储。
目标子集的提示词
针对尼泊尔语公文页面,语料为 OCR、版面区域、阅读顺序、表格单元格与尼泊尔语问答等目标分别配置了提示词,使同一页面可派生出多种任务样本;回放子集则沿用其原始任务的提示格式,以维持模型在通用视觉问答与文档问答上的表现。
训练前的注意事项
回放子集读取时必须显式指定列,否则会连同大体积结构化列一起载入;结构化字段需先 json.loads 再参与训练。语料仅有单一 train split,没有独立的验证或测试划分,评估需自行切分。
已知问题与重复
数据集存在重复样本,去重后行数约为 1.23M;使用前建议按图像或标注做去重,以免重复样本放大某些文档类型的权重。
数据构建
语料围绕尼泊尔语政府文档 OCR 与版面分析组织:源数据为尼泊尔政府公文版面,经合成与真实页面混合;标注覆盖词框、版面区域、阅读顺序、表格单元格与尼泊尔语问答;同时按《Fine-tuning VLMs Without Forgetting》的思路掺入回放数据,以平衡目标任务与通用能力。数据构建过程涉及个人与敏感信息的处理说明。
评测
语料附带评测说明,用于衡量微调后在尼泊尔语公文 OCR 与版面分析上的表现,并观察回放数据对既有能力的保持情况。
偏差、风险与局限
语料聚焦尼泊尔语政府文档,文档类型分布与真实公文场景相关,直接迁移到其他语言或非公文版式时需谨慎;合成页面与真实页面并存,二者比例会影响模型行为。
许可与引用
许可标记为 mixed,仓库公开可访问,但需登录并同意共享 Hugging Face 信息后方可访问文件与内容。引用信息请参见仓库的 Citation 部分。
引用
若在研究中使用了本语料,请按仓库给出的引用格式著录,并注明其曾用名 W4ashabii/dots-train 与 W4ashabii/train-vlm。