大模型医学多选题写作缺陷基准
数据集简介
研究背景与目标
大语言模型已被广泛用于自动生成医学多项选择题,但生成题目是否遵循规范出题原则、是否存在结构性写作缺陷,此前只在较小样本上做过测量,结论难以横向比较。本研究以构建开放基准为目标,对模型生成的医学多选题逐题标注结构性缺陷,并在统一框架下比较不同模型与提示设置的表现,同时追踪正确答案在选项间的位置偏倚。
基准语料的构成与标注
基准语料由大语言模型生成的医学多项选择题组成,每道题均带有结构性缺陷标注。研究覆盖 15 个模型,并在 2 种提示设置下分别生成题目,使模型能力与提示方式两个维度都能被单独观察。标注聚焦于题目写作层面的可判定缺陷,例如选项结构、题干与选项的对应关系等,属于可由规则稳定识别的形式特征,而非依赖专家主观判断的内容质量评价。
答案位置偏倚的追踪
除写作缺陷外,研究还系统追踪正确答案在选项序列中的位置分布。答案位置偏倚是指模型倾向于把正确选项放在固定位置(如始终为 A 或 B),这会削弱题目的区分度,也可能被应试者利用。通过在全部生成题目上统计正确选项的位置,研究给出了这一偏倚在 15 个模型与 2 种提示下的表现,为后续生成策略的调整提供依据。
规则检测器与开放获取
配套的规则检测器用于自动识别题目中的结构性缺陷,使标注过程可复现、可扩展到新生成的题目。语料与检测器通过 Harvard Dataverse 公开发布,落地页为 https://doi.org/doi:10.7910/DVN/KLNMJW,研究者和教育工作者可据此复现比较结果,或将检测器用于自有题库的质量筛查。
引用信息
若在研究中引用本基准,请使用原始标题 Item-writing flaws and answer-position bias in large language model-generated medical multiple-choice questions: a benchmark study of 15 models with an open corpus and a rule-based detector,并注明其发布于 Harvard Dataverse。