Qwen2.5 冲动人格失准评测原始结果

音视频
0 下载
2 浏览
2026-09-14

数据集简介

评测结果仓库的定位

该仓库汇总 MO_evals 运行的逐样本原始结果,服务于 AI 对齐与失准经验研究中的模型行为评测。与常见的聚合型榜单不同,这里一个目录对应一次上传,任何跨运行的统计都不在仓库内完成:Parquet 逐样本记录与 Inspect .eval 日志才是主要证据,scorecard 只是对二者的摘要呈现。上传由 MO_evals 仓库中的 scripts/upload_results.py 完成,该脚本也是这些结果如何产生的权威依据。

受限文件与私有配套仓库

仓库在撰写数据卡时处于公开状态,但并非所有文件都对外可见。凡可能包含 WMDP 或 GPQA 题目文本的文件,均被移至私有配套仓库 theo_impulsive-qwen_2_5-7b-14b-32b-big_eval_results-restricted。这样处理的原因有二:WMDP 是危险知识基准,GPQA 的作者也要求其题目不被公开发布。受限文件的路径清单记录在 RESTRICTED_FILES.json 中。

若需还原完整目录树,应把公开仓库与私有配套仓库下载到同一目录,再运行 scripts/fetch_results.py;访问私有配套仓库需要 Misalignment-Empirics 成员身份。公开仓库本身为非 gated 仓库,可直接从 Hugging Face 下载。

上传目录的结果树结构

每次上传在仓库根下形成一个 / 目录,其下按「生物体」划分:

<upload>/
  <persona>__<method>__scale<n>__<fam>/   # 一个 organism
    <spec_hash>/                          # 一个种子
      spec.json
      seed<n>__<spec_hash>__<eval>.parquet
      logs/
      report/
      view/
      config.yaml

各文件与目录的职责如下:

  • spec.json:把 spec_hash 映射到 persona、method、scale、seed、fake 等字段,是识别该次运行配置的入口。
  • seed<spec_hash>.parquet:每行一个样本,raw_output 字段已填充模型原始输出。
  • logs/:Inspect .eval 日志;若运行时使用 --no-logs,则该目录缺失。
  • report/:渲染后的 scorecard。
  • view/:静态 Inspect 日志查看器。
  • config.yaml:本次运行使用的精确配置。

顶层目录与版本脉络

仓库顶层共有 7 个子目录,用于区分不同性质与阶段的结果:analyses、archive、pilots、rejudges、runs、superseded、whitebox。这一划分让正式运行、试点、重判与已被取代的结果各自归位,便于按版本追溯。仓库累计 179 次提交,单次运行目录示例含 54 个文件;.gitattributes 约 1.99 MB,RESTRICTED_FILES.json 约 179 kB。文件格式覆盖 parquet、.eval、json、jsonl、csv、yaml、md、py 与 txt。

基本信息

记录数量未知
文件大小179 次提交;顶层子目录 7 个;单次运行目录示例含 54 个文件;.gitattributes 约 1.99 MB,RESTRICTED_FILES.json 约 179 kB;累计下载 2292 次
文件格式Parquet、.eval、JSON、JSONL、CSV、YAML、Markdown、Python、
数据来源Misalignment-Empirics(LASR Labs Cohort Summer 2026)
评测模型Qwen2.5-7B/14B/32B 指令模型
评测工具MO_evals、Inspect
访问方式公开非 gated,受限文件需私有配套仓库
发布日期2026-09-14
数据落地页https://huggingface.co/datasets/Misalignment-Empirics/theo_impulsive-qwen_2_5-7b-14b-32b-big_eval_results
AI对齐模型失准Qwen2.5评测结果Inspect日志人格引导

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费