MTG-AD 内联音频描述数据集与评测框架
数据集简介
项目概览
MTG-AD 面向端到端内联音频描述(inline audio description)任务:多模态大模型需要在全长的未裁剪视频中生成带时间戳的音频描述,并且这些描述要能嵌入视频的自然停顿处,最终渲染到音轨上接受评估。评测同时关注描述与画面的时间契合度以及整体质量。该工作涉及计算机视觉与模式识别、人工智能、人机交互等方向,服务于盲人与低视力(BLV)用户的视频无障碍需求,相关论文被 NeurIPS 2026 Evaluations & Datasets Track 接收。
数据内容与划分
数据集包含 433 个 YouTube 视频,总时长约 36 小时,平均每个视频约 5 分钟,共 8k+ 条音频描述,全部由盲人与视力正常专业人士配对共同标注。视频 ID 列表分别记录在 video_ids.txt、validation_video_ids.txt、test_video_ids.txt 中,对应 433、332、101 个视频;test 集是论文全部多模型结果所用的评测子集。
原始文件组织
原始数据按 raw/{split}/ 目录组织,每个视频对应一个以 output_{VIDEO_ID}.txt 命名的文件:
| 子目录 | 内容 |
|---|---|
gt_ad/ |
专业标注的真实音频描述 |
visual_info/ |
密集时间戳视觉信息 |
transcript/ |
带时间戳 ASR 转写,无语音时为空文件 |
test/model_ads/{CONFIG}/ |
各模型配置生成的音频描述 |
test/model_metrics/{CONFIG}/ |
逐视频指标分数(JSON) |
test/scoring_exclusions.json |
排除在聚合指标之外的 (config, video) 对 |
Hugging Face 上提供 annotations(validation、test 两个 split)与 model_outputs(test split)两类配置,字段 include_in_scoring 用于标记是否纳入评分。
音频描述生成
generation 目录下的代码负责调用多模态模型,在未裁剪的全长视频上生成内联音频描述。生成结果按模型配置写入 raw/test/model_ads/{CONFIG}/,便于与真实标注逐视频对照。
MTG-AD-Eval 评测
evaluation 目录实现无参考评测框架 MTG-AD-Eval,对生成描述与真实标注进行细粒度比较,逐视频输出指标分数到 raw/test/model_metrics/{CONFIG}/output_{VIDEO_ID}.json;scoring_exclusions.json 中列出的配置与视频组合不参与聚合统计。
TTS 渲染与转写生成
生成或标注的文本描述通过 TTS 渲染为音频,嵌入视频停顿形成可播放的无障碍音轨,用于评估时间契合度与整体听感。transcript 相关流程则为每个视频产出带时间戳的 ASR 转写,无语音的视频保留空文件,保证目录结构一致。
端到端流水线与自有视频评测
仓库把上述环节串联为端到端流水线,依次完成转写、音频描述生成、TTS 渲染与评测。除数据集内置视频外,用户也可以将自己的 MP4 视频接入同一流水线,得到对应的描述生成与评测结果。仓库目录包括 analysis、assets、common、evaluation、generation、metadata、tests,代码采用 Apache-2.0 许可。
获取方式与引用
数据集托管于 Hugging Face(google/mind-the-gap-inline-ad),可通过 datasets.load_dataset 或 huggingface-cli 公开下载;代码与说明见 GitHub 仓库。论文为 NeurIPS 2026 Evaluations & Datasets Track camera-ready 版本,提交日期为 2026 年 10 月 29 日。
主要作者包括 Subhashini Venugopalan、Jenny Tan、Taylor Roper、Jimmy Tobin、Anton Kast、Alicia Martin、Sam Sepah、Amy Pavel,来自 Google。