印度金融监管文本大模型评测基准
数据集简介
Overview
IndiaFinBench 是首个面向印度金融监管文本的大语言模型评测基准,旨在评估模型对 SEBI 与 RBI 发布的复杂监管文档的理解与推理能力。该基准包含 406 个专家标注的问答对,源自 1992 至 2026 年间发布的 192 份通告、法规和主指示,覆盖四种任务类型:监管解释、数值推理、矛盾检测和时间推理。所有任务均要求模型在零样本、闭卷设置下,仅凭文档证据作答,不借助外部检索。
Research Contributions
该基准的构建遵循严格的标注协议:标注一致性验证显示,基于模型的一致性达 90.7%,人类标注者间一致性(IAA)在 180 个条目上达 86.1%,确保了数据质量。此外,研究团队公开了完整的评测框架,包括逐条裁判判定和所有模型预测,便于复现与进一步研究。
Key Findings
研究对 12 个大语言模型进行了基准测试,包括 Gemini 2.5 Flash、Gemini 2.5 Pro、DeepSeek-R1-Distill-Llama-70B、Llama 4 Scout 17B、LLaMA-3.3-70B、GPT-OSS 120B、GPT-OSS 20B 和 phi4-mini 等。结果显示,混合检索系统(FAISS + BM25 结合倒数排名融合)在 Recall@5 上达到 0.785,相比仅基于稠密检索的方法提升了 9.7 个百分点。这一发现凸显了混合检索在金融监管文本问答中的有效性。
Live Demo
该基准提供了在线演示,用户可交互式地体验模型在监管文本上的表现。仓库中还包含数据、标注、评测、检索、结果、论文、笔记本和演示等目录,方便研究者深入探索。
数据规模与构成
- 问答对数量:406 个专家标注的 QA 条目
- 文档来源:192 份 SEBI 与 RBI 发布的通告、法规和主指示,时间跨度 1992–2026 年
- 任务类型:四种,包括监管解释、数值推理、矛盾检测和时间推理
- 标注协议:基于模型的一致性 90.7%,人类 IAA 86.1%(180 个条目)
- 评测模型:12 个大语言模型
许可与获取
数据集采用 CC BY 4.0 许可,代码采用 MIT 许可。数据集与评测框架已完整公开发布,可通过 GitHub 仓库(https://github.com/Rajveer-code/IndiaFinBench)和 HuggingFace Dataset 获取。