FairForm-Bench 贷款申请表抽取偏见基准

地理空间
0 下载
2 浏览
2026-09-28

数据集简介

基准的构建目标

FairForm-Bench 服务于 FairForm 研究项目(AIF 2026 Capstone),核心问题是:当文档质量因人口统计特征而存在差异时,文档抽取的准确率会如何变化,抽取错误又是否会进一步放大自动信贷决策中的人口统计偏差。数据集以合成贷款申请表为载体,把「文档退化」与「申请人种族标签」「真实贷款决策」放在同一套标注体系下,便于研究者同时考察抽取性能与公平性指标。

表单的生成方式

每份表单都是 300 DPI 的 US-Letter 贷款申请表,其财务字段来自 HMDA 2023 公开贷款数据中的真实申请人。生成器版本为 2.0.0,生成日期 2026-10-24。1,000 份表单各自按五个受控退化等级渲染,合计 5,000 张 8 位灰度 PNG 图像,整体约 13 GB,在 HuggingFace 规模分类中属于 1K<n<10K 区间。

申请人的种族构成与模板

真值文件为每份表单记录申请人的 race 标签与 population_weight,研究者可据此按人口权重加权统计,而不是只做简单平均。表单同时记录所用 template 模板编号,以及 missing_required 标记,用于指示该表单是否存在必填字段缺失的情况。

字段取值与打印文本

真值对每个字段给出三类信息:value 为标准值,rendered_text 为该等级下实际打印的文本,present 指示字段是否出现。这样既能评估抽取结果是否命中标准值,也能区分错误来自渲染失真还是字段缺失。

文件组织与真值结构

图像以 PNG 存储,标注以 JSON 存储,真值文件路径形如 ground_truth/form_XXXX.json。每个真值文件对应一份表单,包含逐字段的 value / rendered_text / present、各退化等级下的边界框、race 标签与 population_weight、template 记录以及 missing_required 标记。

用于偏差测量

使用该基准时,可先在五个退化等级上分别运行文档抽取流程,得到逐字段的抽取准确率;再结合真值中的种族标签与实际贷款决策,检验抽取错误是否在不同人口群体间分布不均,以及这些错误传导到信贷决策后是否放大原有偏差。边界框标注支持同时评估检测与识别环节。

质量检查与已知局限

数据集经过质量检查流程后发布;由于表单为合成渲染,其版式与退化方式均为受控设定,与真实业务中扫描件的退化分布可能存在差异,使用时应结合具体场景解读结果。

版本变更

当前版本由生成器 2.0.0 产出;旧版部分上传保留在 Hub 上,标签为 v1.0-partial。

许可与引用

数据集以 CC BY 4.0 许可发布,可公开下载且非 gated;其中 HMDA 数据为美国政府公有领域数据。引用时请注明 FairForm-Bench 及 FairForm 研究项目(AIF 2026 Capstone)。

基本信息

记录数量未知
文件大小1,000 份表单 × 5 个退化等级 = 5,000 张 8 位灰度 PNG 图像,约 13 GB
文件格式PNG, JSON
数据来源FairForm 研究项目(AIF 2026 Capstone)
图像规格8 位灰度,300 DPI,US-Letter
退化等级5 级
许可协议CC BY 4.0
生成器版本2.0.0
数据落地页https://huggingface.co/datasets/bikalpoudel/fairform-bench
发布日期2026-09-28
文档抽取算法公平性贷款申请OCR人口统计偏差合成文档

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费