印度金融监管文本大模型评测基准

金融经济
0 下载
20 浏览
2026-09-04

数据集简介

Overview

IndiaFinBench 是首个面向印度金融监管文本的大语言模型评测基准,旨在评估模型对 SEBI 与 RBI 发布的复杂监管文档的理解与推理能力。该基准包含 406 个专家标注的问答对,源自 1992 至 2026 年间发布的 192 份通告、法规和主指示,覆盖四种任务类型:监管解释、数值推理、矛盾检测和时间推理。所有任务均要求模型在零样本、闭卷设置下,仅凭文档证据作答,不借助外部检索。

Research Contributions

该基准的构建遵循严格的标注协议:标注一致性验证显示,基于模型的一致性达 90.7%,人类标注者间一致性(IAA)在 180 个条目上达 86.1%,确保了数据质量。此外,研究团队公开了完整的评测框架,包括逐条裁判判定和所有模型预测,便于复现与进一步研究。

Key Findings

研究对 12 个大语言模型进行了基准测试,包括 Gemini 2.5 Flash、Gemini 2.5 Pro、DeepSeek-R1-Distill-Llama-70B、Llama 4 Scout 17B、LLaMA-3.3-70B、GPT-OSS 120B、GPT-OSS 20B 和 phi4-mini 等。结果显示,混合检索系统(FAISS + BM25 结合倒数排名融合)在 Recall@5 上达到 0.785,相比仅基于稠密检索的方法提升了 9.7 个百分点。这一发现凸显了混合检索在金融监管文本问答中的有效性。

Live Demo

该基准提供了在线演示,用户可交互式地体验模型在监管文本上的表现。仓库中还包含数据、标注、评测、检索、结果、论文、笔记本和演示等目录,方便研究者深入探索。

数据规模与构成

  • 问答对数量:406 个专家标注的 QA 条目
  • 文档来源:192 份 SEBI 与 RBI 发布的通告、法规和主指示,时间跨度 1992–2026 年
  • 任务类型:四种,包括监管解释、数值推理、矛盾检测和时间推理
  • 标注协议:基于模型的一致性 90.7%,人类 IAA 86.1%(180 个条目)
  • 评测模型:12 个大语言模型

许可与获取

数据集采用 CC BY 4.0 许可,代码采用 MIT 许可。数据集与评测框架已完整公开发布,可通过 GitHub 仓库(https://github.com/Rajveer-code/IndiaFinBench)和 HuggingFace Dataset 获取。

基本信息

记录数量未知
文件大小未知
文件格式未知
数据来源Rajveer-code
许可协议CC BY 4.0(数据集);MIT(代码)
数据落地页https://github.com/Rajveer-code/IndiaFinBench
发布日期2026-09-04
金融监管大语言模型评测基准印度问答对

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费