ProverQA逻辑推理评测数据集
机器学习
0 下载
18 浏览
2025-02-11
数据集简介
ProverQA 数据集主要用于评测大语言模型(LLMs)的逻辑推理能力。它由 ProverGen 框架生成,该框架首次将 LLMs 与符号证明器(symbolic prover)相结合,能够自动生成高质量的逻辑推理问答数据,兼顾了生成数据的多样性和真实性。相关研究成果以论文《Large Language Models Meet Symbolic Provers for Logical Reasoning Evaluation》形式发表于 ICLR 2025。
数据集详情
ProverQA 包含训练集和评测集两部分:
- 训练集:共 5000 个示例,通过数据增强技术扩充,用于模型训练。
- 评测集:共 1500 个示例,分为三个难度水平:easy、medium、hard,每个难度各 500 道题目,用于评估模型的逻辑推理能力。
每个示例均包含以下字段:
id:唯一标识符question:逻辑推理问题options:选项列表answer:正确答案reasoning:推理过程context:上下文信息nl2fol:自然语言到一阶逻辑的转换conclusion_fol:结论的一阶逻辑表示
数据集文件
数据集以 JSON 格式存储,总大小约 13.4MB。文件结构清晰,便于直接加载和使用。
CLI/SDK 下载
用户可通过 OpenDataLab 平台提供的 CLI 或 SDK 工具便捷地下载 ProverQA 数据集。具体下载命令和方式请参考 OpenDataLab 官方文档。
简介
ProverQA 由上海人工智能实验室、北京航空航天大学、复旦大学、智能技术与系统实验室、中关村实验室等机构的研究者共同开发,主要贡献者包括 Chengwen Qi、Ren Ma、Bowen Li、He Du、Binyuan Hui、Jinwang Wu、Yuanjun Laili、Conghui He 等。
example
以下是一个示例数据条目(示意):
{
"id": "example_id",
"question": "...",
"options": ["A", "B", "C", "D"],
"answer": "A",
"reasoning": "...",
"context": "...",
"nl2fol": "...",
"conclusion_fol": "..."
}
Citation
如果您在研究中使用了 ProverQA 数据集,请引用以下论文:
@inproceedings{qi2025large,
title={Large Language Models Meet Symbolic Provers for Logical Reasoning Evaluation},
author={Qi, Chengwen and Ma, Ren and Li, Bowen and Du, He and Hui, Binyuan and Wu, Jinwang and Laili, Yuanjun and He, Conghui},
booktitle={ICLR},
year={2025}
}
相似数据集
如需更多逻辑推理相关数据集,可在 OpenDataLab 平台搜索其他类似资源。
发布信息
- 发布日期:2025-02-11
- 许可证:MIT
- 来源:OpenDataLab
基本信息
记录数量未知
文件大小13.4MB;训练集5000个example,评测集1500个example(easy/medium
文件格式JSON
数据来源OpenDataLab
许可证MIT
数据规模训练集5000个example,评测集1500个example
难度划分easy/medium/hard各500道
数据落地页https://opendatalab.com/OpenDataLab/ProverQA
发布日期2025-02-11
逻辑推理大语言模型评测数据集ProverGen符号证明器
上架信息
数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载