Qwen2.5 冲动人格失准评测原始结果
数据集简介
评测结果仓库的定位
该仓库汇总 MO_evals 运行的逐样本原始结果,服务于 AI 对齐与失准经验研究中的模型行为评测。与常见的聚合型榜单不同,这里一个目录对应一次上传,任何跨运行的统计都不在仓库内完成:Parquet 逐样本记录与 Inspect .eval 日志才是主要证据,scorecard 只是对二者的摘要呈现。上传由 MO_evals 仓库中的 scripts/upload_results.py 完成,该脚本也是这些结果如何产生的权威依据。
受限文件与私有配套仓库
仓库在撰写数据卡时处于公开状态,但并非所有文件都对外可见。凡可能包含 WMDP 或 GPQA 题目文本的文件,均被移至私有配套仓库 theo_impulsive-qwen_2_5-7b-14b-32b-big_eval_results-restricted。这样处理的原因有二:WMDP 是危险知识基准,GPQA 的作者也要求其题目不被公开发布。受限文件的路径清单记录在 RESTRICTED_FILES.json 中。
若需还原完整目录树,应把公开仓库与私有配套仓库下载到同一目录,再运行 scripts/fetch_results.py;访问私有配套仓库需要 Misalignment-Empirics 成员身份。公开仓库本身为非 gated 仓库,可直接从 Hugging Face 下载。
上传目录的结果树结构
每次上传在仓库根下形成一个
<upload>/
<persona>__<method>__scale<n>__<fam>/ # 一个 organism
<spec_hash>/ # 一个种子
spec.json
seed<n>__<spec_hash>__<eval>.parquet
logs/
report/
view/
config.yaml
各文件与目录的职责如下:
- spec.json:把 spec_hash 映射到 persona、method、scale、seed、fake 等字段,是识别该次运行配置的入口。
- seed
<spec_hash> .parquet:每行一个样本,raw_output 字段已填充模型原始输出。 - logs/:Inspect .eval 日志;若运行时使用 --no-logs,则该目录缺失。
- report/:渲染后的 scorecard。
- view/:静态 Inspect 日志查看器。
- config.yaml:本次运行使用的精确配置。
顶层目录与版本脉络
仓库顶层共有 7 个子目录,用于区分不同性质与阶段的结果:analyses、archive、pilots、rejudges、runs、superseded、whitebox。这一划分让正式运行、试点、重判与已被取代的结果各自归位,便于按版本追溯。仓库累计 179 次提交,单次运行目录示例含 54 个文件;.gitattributes 约 1.99 MB,RESTRICTED_FILES.json 约 179 kB。文件格式覆盖 parquet、.eval、json、jsonl、csv、yaml、md、py 与 txt。