大模型医学多选题写作缺陷基准

自然语言
0 下载
0 浏览
2026-11-05

数据集简介

研究背景与目标

大语言模型已被广泛用于自动生成医学多项选择题,但生成题目是否遵循规范出题原则、是否存在结构性写作缺陷,此前只在较小样本上做过测量,结论难以横向比较。本研究以构建开放基准为目标,对模型生成的医学多选题逐题标注结构性缺陷,并在统一框架下比较不同模型与提示设置的表现,同时追踪正确答案在选项间的位置偏倚。

基准语料的构成与标注

基准语料由大语言模型生成的医学多项选择题组成,每道题均带有结构性缺陷标注。研究覆盖 15 个模型,并在 2 种提示设置下分别生成题目,使模型能力与提示方式两个维度都能被单独观察。标注聚焦于题目写作层面的可判定缺陷,例如选项结构、题干与选项的对应关系等,属于可由规则稳定识别的形式特征,而非依赖专家主观判断的内容质量评价。

答案位置偏倚的追踪

除写作缺陷外,研究还系统追踪正确答案在选项序列中的位置分布。答案位置偏倚是指模型倾向于把正确选项放在固定位置(如始终为 A 或 B),这会削弱题目的区分度,也可能被应试者利用。通过在全部生成题目上统计正确选项的位置,研究给出了这一偏倚在 15 个模型与 2 种提示下的表现,为后续生成策略的调整提供依据。

规则检测器与开放获取

配套的规则检测器用于自动识别题目中的结构性缺陷,使标注过程可复现、可扩展到新生成的题目。语料与检测器通过 Harvard Dataverse 公开发布,落地页为 https://doi.org/doi:10.7910/DVN/KLNMJW,研究者和教育工作者可据此复现比较结果,或将检测器用于自有题库的质量筛查。

引用信息

若在研究中引用本基准,请使用原始标题 Item-writing flaws and answer-position bias in large language model-generated medical multiple-choice questions: a benchmark study of 15 models with an open corpus and a rule-based detector,并注明其发布于 Harvard Dataverse。

基本信息

记录数量未知
文件大小未知
文件格式未知
数据来源Harvard Dataverse
来源Harvard Dataverse
规模15 个模型、2 种提示
数据落地页https://doi.org/doi:10.7910/DVN/KLNMJW
发布日期2026-11-05
医学多选题大语言模型题目写作缺陷答案位置偏倚基准语料规则检测器

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费