ProverQA逻辑推理评测数据集

机器学习
0 下载
18 浏览
2025-02-11

数据集简介

ProverQA 数据集主要用于评测大语言模型(LLMs)的逻辑推理能力。它由 ProverGen 框架生成,该框架首次将 LLMs 与符号证明器(symbolic prover)相结合,能够自动生成高质量的逻辑推理问答数据,兼顾了生成数据的多样性和真实性。相关研究成果以论文《Large Language Models Meet Symbolic Provers for Logical Reasoning Evaluation》形式发表于 ICLR 2025。

数据集详情

ProverQA 包含训练集和评测集两部分:

  • 训练集:共 5000 个示例,通过数据增强技术扩充,用于模型训练。
  • 评测集:共 1500 个示例,分为三个难度水平:easy、medium、hard,每个难度各 500 道题目,用于评估模型的逻辑推理能力。

每个示例均包含以下字段:

  • id:唯一标识符
  • question:逻辑推理问题
  • options:选项列表
  • answer:正确答案
  • reasoning:推理过程
  • context:上下文信息
  • nl2fol:自然语言到一阶逻辑的转换
  • conclusion_fol:结论的一阶逻辑表示

数据集文件

数据集以 JSON 格式存储,总大小约 13.4MB。文件结构清晰,便于直接加载和使用。

CLI/SDK 下载

用户可通过 OpenDataLab 平台提供的 CLI 或 SDK 工具便捷地下载 ProverQA 数据集。具体下载命令和方式请参考 OpenDataLab 官方文档。

简介

ProverQA 由上海人工智能实验室、北京航空航天大学、复旦大学、智能技术与系统实验室、中关村实验室等机构的研究者共同开发,主要贡献者包括 Chengwen Qi、Ren Ma、Bowen Li、He Du、Binyuan Hui、Jinwang Wu、Yuanjun Laili、Conghui He 等。

example

以下是一个示例数据条目(示意):

{
  "id": "example_id",
  "question": "...",
  "options": ["A", "B", "C", "D"],
  "answer": "A",
  "reasoning": "...",
  "context": "...",
  "nl2fol": "...",
  "conclusion_fol": "..."
}

Citation

如果您在研究中使用了 ProverQA 数据集,请引用以下论文:

@inproceedings{qi2025large,
  title={Large Language Models Meet Symbolic Provers for Logical Reasoning Evaluation},
  author={Qi, Chengwen and Ma, Ren and Li, Bowen and Du, He and Hui, Binyuan and Wu, Jinwang and Laili, Yuanjun and He, Conghui},
  booktitle={ICLR},
  year={2025}
}

相似数据集

如需更多逻辑推理相关数据集,可在 OpenDataLab 平台搜索其他类似资源。

发布信息

  • 发布日期:2025-02-11
  • 许可证:MIT
  • 来源:OpenDataLab

基本信息

记录数量未知
文件大小13.4MB;训练集5000个example,评测集1500个example(easy/medium
文件格式JSON
数据来源OpenDataLab
许可证MIT
数据规模训练集5000个example,评测集1500个example
难度划分easy/medium/hard各500道
数据落地页https://opendatalab.com/OpenDataLab/ProverQA
发布日期2025-02-11
逻辑推理大语言模型评测数据集ProverGen符号证明器

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费