MO_evals 模型失准逐样本评测结果
数据集简介
逐样本结果的组织方式
仓库按上传批次划分目录,每一次 MO_evals 运行对应一个独立目录,目录之间互不合并。这样的组织方式保留了单次评测的完整上下文,便于回溯某一次运行的具体样本表现,而不是只看到一个跨批次平均后的分数。
仓库页面提供 Subset(1)default 与 Split(1)logs 的划分,说明数据在逻辑上以日志集合的形式存在。样本文件路径示例为 samples/4131_epoch_1.json,即样本按编号与 epoch 命名,落在 samples 子目录下。
主要证据:Parquet 与 .eval 日志
仓库卡片明确说明,Parquet 文件与 .eval 日志是主要证据,scorecard 只是它们的摘要。因此在使用这批结果时,应以 Parquet 中的逐样本记录和 .eval 日志中的运行细节为准,scorecard 适合快速定位,不适合作为最终依据。
- Parquet:承载逐样本的表格化评测结果,是结构化分析的主要入口。
- .eval 日志:记录评测运行过程,文件为 JSON/zip 结构。
- scorecard:对上述两者的摘要,不构成独立证据。
页面浏览与预览状态
数据集页面按 Dataset card、Data Studio、Files and versions、Community、Dataset Preview 等区块组织。其中 Dataset Preview 在生成时失败,报错为 DatasetGenerationError,因此预览区不可用,仅显示部分行。若需完整内容,应通过 Files and versions 浏览与下载文件。
预览失败的具体报错包含 zipfile.BadZipFile: Bad CRC-32 for file 'samples/4131_epoch_1.json',说明预览生成过程中在读取该样本文件时遇到压缩包校验问题。这不影响通过文件列表直接获取数据。
访问方式与可见性
仓库当前为公开状态(isGated=false、isPrivate=false),可在 HuggingFace 页面浏览并下载。数据集卡片同时注明,卡片撰写时该仓库为私有;也就是说,公开可见性是此后才具备的,早期引用时需留意这一状态变化。
引用信息
- 项目名称:LASR Labs Cohort Summer 2026 - Misalignment Empirics
- 数据集标识:Misalignment-Empirics/shreyans_impulsive-gemma_4-31b-big_eval_results
- 发布日期:2026-10-14
- 落地页:https://huggingface.co/datasets/Misalignment-Empirics/shreyans_impulsive-gemma_4-31b-big_eval_results