联盟可信度数据:专家与LLM联合评分
数据集简介
数据衡量的是什么
本数据集的核心量是一条联盟承诺的潜在可信度分数 α。对每一条联盟承诺,数据逐年给出一个 α 估计值,含义是:依赖该承诺的国家有多确信盟友会在与共同对手的战争中支持它。α 越高,说明该承诺在当年越可信。估计值来自一个测量模型,该模型把专家问卷评分与大语言模型(LLM)评分融合在一起,从而在专家覆盖有限的年份与联盟上仍能给出可比较的分数。
数据结构与主键
数据以 CSV 表格为主,另提供 JSON 与 HTML 文件。每一行是一个联盟-年份-方向的估计记录,主键为 alliance_id × cred_source × cred_recip × year,即「联盟 × 承诺方 × 受诺方 × 年份」唯一确定一条记录。字段包括:
- estimate_id:估计记录标识
- release:数据版本号
- alliance_id:ATOP 的 atopid
- cred_source、cred_recip:承诺方与受诺方
- year:年份
- irt_median、irt_mean、irt_sd、irt_mad:潜在分数的后验中位数、均值、标准差与中位绝对偏差
- irt_q5、irt_q95、irt_q25、irt_q75:后验分位数
- n_ratings、n_human:评分总数与其中的人工评分数
- confidence_tier:置信层级(gold/silver/bronze)
- model_version、vintage_date:模型版本与数据基准日期
联盟层面的元数据单独存放在 alliance-metadata.json 中,字段有 atopid、name、members、n_members、type、region、era、begyr、endyr,可用于把估计值关联到联盟名称、成员、类型、地区与存续年份。
字段说明
| 字段 | 含义 |
|---|---|
| estimate_id | 估计记录标识 |
| release | 数据版本 |
| alliance_id | ATOP 联盟编号(atopid) |
| cred_source / cred_recip | 承诺方 / 受诺方 |
| year | 年份 |
| irt_median / irt_mean | 潜在可信度分数的后验中位数 / 均值 |
| irt_sd / irt_mad | 后验标准差 / 中位绝对偏差 |
| irt_q5 / irt_q95 | 5% 与 95% 分位数 |
| irt_q25 / irt_q75 | 25% 与 75% 分位数 |
| n_ratings / n_human | 评分总数 / 人工评分数 |
| confidence_tier | 置信层级:gold、silver、bronze |
| model_version / vintage_date | 模型版本 / 数据基准日期 |
承诺方与受诺方
联盟承诺是有方向的:同一条联盟中,A 国承诺支持 B 国与 B 国承诺支持 A 国是两条不同的序列。数据因此以 cred_source(承诺方)与 cred_recip(受诺方)区分方向,440 条有向序列即由此而来。分析时可按方向分别取用,也可把两个方向合并考察联盟整体的相互可信度。
置信层级
每条估计都带一个 confidence_tier 标记,分为 gold、silver、bronze 三级,反映该联盟-年份估计所依据的评分基础。n_ratings 与 n_human 两个字段给出了评分总量与人工评分量,可与置信层级配合判断某条估计的可靠程度。专家问卷共收到 71 份提交、覆盖 46 个联盟,因此并非所有联盟-年份都有同等的人工评分支撑,置信层级正是用来区分这一差异的。
如何解读估计值
irt_median 的取值范围为 −13.0 至 13.9,典型 90% 区间宽度约 6.6 个单位。分数本身是潜在量,宜在同一尺度内比较不同联盟、年份或方向的相对高低,而不宜把绝对值当作概率直接解读。irt_sd、irt_mad 与 irt_q5/irt_q95、irt_q25/irt_q75 给出了估计的不确定性,区间越宽说明该条估计越不确定。
估计值的生成方式
估计分三步完成。第一步是专家问卷:研究者邀请专家对联盟承诺的可信度打分,共获得 71 份提交、覆盖 46 个联盟。第二步是 LLM 评分:由大语言模型对承诺给出评分,当前版本使用的模型为 gpt-oss-120b,模型流水线标记为 full-v1、融合方式为 fused-irt。第三步是测量模型:把专家评分与 LLM 评分一起放入贝叶斯序数项目反应模型,估计出每条承诺逐年的潜在可信度分数 α,并给出后验分布摘要。
版本与引用
当前版本为 cred-v2026.1,模型拟合日期为 2026-10-02,是现役版本。数据托管于 Harvard Dataverse,DOI 为 10.7910/DVN/HEFN8Z,可下载 CSV 版本数据并附有 codebook。引用格式为:Alley, Joshua, and Brian Blankenship. 2026. Alliance Credibility Data, release cred-v2026.1. Harvard Dataverse. https://doi.org/10.7910/DVN/HEFN8Z。