大语言模型USMLE执照考试心理测量基准复现数据

医疗健康
0 下载
1 浏览
2026-10-31

数据集简介

研究背景与评测目标

该复现数据对应一项针对大语言模型医学执照考试能力的心理测量基准研究。研究选取 GPT-4o、Claude 3.5 Sonnet 和 Gemini 1.5 Pro 三个前沿模型,在 120 道标准化 USMLE Step 试题上开展系统评测,目标不止于统计答对比例,还延伸到推理过程的一致性检验、错误类型的定性归纳以及临床危害的分层评估。

评测对象与试题构成

评测覆盖的三个模型均为各自厂商的前沿通用大语言模型:GPT-4o、Claude 3.5 Sonnet 与 Gemini 1.5 Pro。试题为 120 道标准化 USMLE Step 题目,属于医学执照考试风格的临床知识题。数据集中保留的评测结果围绕这 120 道题与三个模型的组合展开。

心理测量基准与推理一致性

数据包含心理测量基准测试(psychometric benchmarking)结果,用于衡量模型在标准化试题上的作答表现;同时包含推理一致性评估(reasoning concordance evaluations),考察模型在推理层面的一致程度。两部分结果共同构成对模型考试能力的多维刻画,而非单一准确率指标。

错误类型学与临床危害分层

除定量指标外,数据集还收录定性错误类型学(qualitative error typologies)分析与临床危害分层(clinical harm stratifications)结果。前者对模型作答中的错误进行归类,后者按临床危害程度对错误进行分层,便于研究者从安全性角度审视模型输出。

获取方式与引用

数据托管于 Harvard Dataverse,可通过 DOI 10.7910/DVN/IM0PUN 访问落地页并下载。引用时请使用该 DOI,并注明发布日期为 2026 年 10 月 31 日。

基本信息

记录数量未知
文件大小未知
文件格式未知
数据来源Harvard Dataverse
DOI10.7910/DVN/IM0PUN
评测模型GPT-4o、Claude 3.5 Sonnet、Gemini 1.5 Pro
试题数量120 道 USMLE Step 试题
数据内容心理测量基准、推理一致性、错误类型学、临床危害分层
数据落地页https://doi.org/doi:10.7910/DVN/IM0PUN
发布日期2026-10-31
大语言模型USMLE心理测量基准临床安全推理一致性复现数据

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费