尼泊尔语政府公文OCR微调语料

计算机视觉
0 下载
2 浏览
2026-09-23

数据集简介

快速上手

语料以 parquet 分片托管,图像以 JPEG 原始字节随行存储,标注与问答字段以 JSON 字符串形式写入同一行。加载时可直接按子集读取;回放类子集需要显式传入列名,例如 columns=["image","image_w","image_h","prompt","target","source","config"],以免一次性拉取全部结构化列。结构化字段需用 json.loads 解析后使用。

子集构成

数据集共 8 个子集,配置名包括 pages、crops、organic 与若干 replay_* 回放子集。其中 pages 子集 216,573 行 / 176.3 GB,crops 子集 125,000 行 / 19.2 GB;回放子集承载通用 VQA、英文文档问答与手写数学题等内容。全部子集合计 1,275,821 行(去重后约 1.23M),总体积 294.5 GB。

文档类别(pages)

pages 子集覆盖 128 种尼泊尔政府文档类型,归入 12 个大类、47 个子类,既包含合成版面,也包含真实版面页面。类别字段可支撑按文档类型筛选与分层采样,便于在微调时控制不同公文类型的配比。

字段结构

pages 子集的主要字段如下:

字段 说明
image、image_w、image_h 图像字节与宽高
prompt、target 输入提示与目标输出
source、config 数据来源与子集配置
bboxes_norm、regions_norm 归一化词框与版面区域
word_boxes_norm、word_texts 词级框与对应文本
sharegpt、phrases 对话式标注与短语信息
bboxes、augmentations 原始框坐标与增强记录

其中 bboxes_norm、regions_norm、sharegpt 等结构化字段以 JSON 字符串存储。

目标子集的提示词

针对尼泊尔语公文页面,语料为 OCR、版面区域、阅读顺序、表格单元格与尼泊尔语问答等目标分别配置了提示词,使同一页面可派生出多种任务样本;回放子集则沿用其原始任务的提示格式,以维持模型在通用视觉问答与文档问答上的表现。

训练前的注意事项

回放子集读取时必须显式指定列,否则会连同大体积结构化列一起载入;结构化字段需先 json.loads 再参与训练。语料仅有单一 train split,没有独立的验证或测试划分,评估需自行切分。

已知问题与重复

数据集存在重复样本,去重后行数约为 1.23M;使用前建议按图像或标注做去重,以免重复样本放大某些文档类型的权重。

数据构建

语料围绕尼泊尔语政府文档 OCR 与版面分析组织:源数据为尼泊尔政府公文版面,经合成与真实页面混合;标注覆盖词框、版面区域、阅读顺序、表格单元格与尼泊尔语问答;同时按《Fine-tuning VLMs Without Forgetting》的思路掺入回放数据,以平衡目标任务与通用能力。数据构建过程涉及个人与敏感信息的处理说明。

评测

语料附带评测说明,用于衡量微调后在尼泊尔语公文 OCR 与版面分析上的表现,并观察回放数据对既有能力的保持情况。

偏差、风险与局限

语料聚焦尼泊尔语政府文档,文档类型分布与真实公文场景相关,直接迁移到其他语言或非公文版式时需谨慎;合成页面与真实页面并存,二者比例会影响模型行为。

许可与引用

许可标记为 mixed,仓库公开可访问,但需登录并同意共享 Hugging Face 信息后方可访问文件与内容。引用信息请参见仓库的 Citation 部分。

引用

若在研究中使用了本语料,请按仓库给出的引用格式著录,并注明其曾用名 W4ashabii/dots-train 与 W4ashabii/train-vlm。

基本信息

记录数量未知
文件大小1,275,821 行(去重后约 1.23M),8 个子集,294.5 GB parquet;128
文件格式parquet, jpeg
数据来源Himalaya AI Labs
数据规模1,275,821 行
存储体积294.5 GB
子集数量8
文档类型128 种
数据划分train
许可mixed
数据落地页https://huggingface.co/datasets/W4ashabii/dots-train
发布日期2026-09-23
尼泊尔语政府公文OCR版面分析视觉语言模型微调语料

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费