联盟可信度数据:专家与LLM联合评分

社会科学
0 下载
11 浏览
2026-10-11

数据集简介

数据衡量的是什么

本数据集的核心量是一条联盟承诺的潜在可信度分数 α。对每一条联盟承诺,数据逐年给出一个 α 估计值,含义是:依赖该承诺的国家有多确信盟友会在与共同对手的战争中支持它。α 越高,说明该承诺在当年越可信。估计值来自一个测量模型,该模型把专家问卷评分与大语言模型(LLM)评分融合在一起,从而在专家覆盖有限的年份与联盟上仍能给出可比较的分数。

数据结构与主键

数据以 CSV 表格为主,另提供 JSON 与 HTML 文件。每一行是一个联盟-年份-方向的估计记录,主键为 alliance_id × cred_source × cred_recip × year,即「联盟 × 承诺方 × 受诺方 × 年份」唯一确定一条记录。字段包括:

  • estimate_id:估计记录标识
  • release:数据版本号
  • alliance_id:ATOP 的 atopid
  • cred_source、cred_recip:承诺方与受诺方
  • year:年份
  • irt_median、irt_mean、irt_sd、irt_mad:潜在分数的后验中位数、均值、标准差与中位绝对偏差
  • irt_q5、irt_q95、irt_q25、irt_q75:后验分位数
  • n_ratings、n_human:评分总数与其中的人工评分数
  • confidence_tier:置信层级(gold/silver/bronze)
  • model_version、vintage_date:模型版本与数据基准日期

联盟层面的元数据单独存放在 alliance-metadata.json 中,字段有 atopid、name、members、n_members、type、region、era、begyr、endyr,可用于把估计值关联到联盟名称、成员、类型、地区与存续年份。

字段说明

字段 含义
estimate_id 估计记录标识
release 数据版本
alliance_id ATOP 联盟编号(atopid)
cred_source / cred_recip 承诺方 / 受诺方
year 年份
irt_median / irt_mean 潜在可信度分数的后验中位数 / 均值
irt_sd / irt_mad 后验标准差 / 中位绝对偏差
irt_q5 / irt_q95 5% 与 95% 分位数
irt_q25 / irt_q75 25% 与 75% 分位数
n_ratings / n_human 评分总数 / 人工评分数
confidence_tier 置信层级:gold、silver、bronze
model_version / vintage_date 模型版本 / 数据基准日期

承诺方与受诺方

联盟承诺是有方向的:同一条联盟中,A 国承诺支持 B 国与 B 国承诺支持 A 国是两条不同的序列。数据因此以 cred_source(承诺方)与 cred_recip(受诺方)区分方向,440 条有向序列即由此而来。分析时可按方向分别取用,也可把两个方向合并考察联盟整体的相互可信度。

置信层级

每条估计都带一个 confidence_tier 标记,分为 gold、silver、bronze 三级,反映该联盟-年份估计所依据的评分基础。n_ratings 与 n_human 两个字段给出了评分总量与人工评分量,可与置信层级配合判断某条估计的可靠程度。专家问卷共收到 71 份提交、覆盖 46 个联盟,因此并非所有联盟-年份都有同等的人工评分支撑,置信层级正是用来区分这一差异的。

如何解读估计值

irt_median 的取值范围为 −13.0 至 13.9,典型 90% 区间宽度约 6.6 个单位。分数本身是潜在量,宜在同一尺度内比较不同联盟、年份或方向的相对高低,而不宜把绝对值当作概率直接解读。irt_sd、irt_mad 与 irt_q5/irt_q95、irt_q25/irt_q75 给出了估计的不确定性,区间越宽说明该条估计越不确定。

估计值的生成方式

估计分三步完成。第一步是专家问卷:研究者邀请专家对联盟承诺的可信度打分,共获得 71 份提交、覆盖 46 个联盟。第二步是 LLM 评分:由大语言模型对承诺给出评分,当前版本使用的模型为 gpt-oss-120b,模型流水线标记为 full-v1、融合方式为 fused-irt。第三步是测量模型:把专家评分与 LLM 评分一起放入贝叶斯序数项目反应模型,估计出每条承诺逐年的潜在可信度分数 α,并给出后验分布摘要。

版本与引用

当前版本为 cred-v2026.1,模型拟合日期为 2026-10-02,是现役版本。数据托管于 Harvard Dataverse,DOI 为 10.7910/DVN/HEFN8Z,可下载 CSV 版本数据并附有 codebook。引用格式为:Alley, Joshua, and Brian Blankenship. 2026. Alliance Credibility Data, release cred-v2026.1. Harvard Dataverse. https://doi.org/10.7910/DVN/HEFN8Z。

基本信息

记录数量234 个联盟(ATOP 5.1,1815–2023 年),440 条有向序列,7,588 个联盟-年份;专家问卷共 71 份提交、覆盖 46 个联盟;irt_median 取值范围为 −13.0 至 13.9,典型 90% 区间宽度约 6.6 个单位
文件大小未知
文件格式CSV, JSON, HTML
数据来源Harvard Dataverse
附属文件JSON、HTML、codebook
DOI10.7910/DVN/HEFN8Z
版本cred-v2026.1
模型版本gpt-oss-120b / full-v1 / fused-irt
主键alliance_id × cred_source × cred_recip × year
覆盖范围ATOP 5.1,1815–2023 年
访问方式公开免费
数据落地页https://doi.org/doi:10.7910/DVN/HEFN8Z
发布日期2026-10-11
联盟可信度国际关系ATOP专家问卷大语言模型贝叶斯项目反应模型

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费