MTG-AD 内联音频描述数据集与评测框架

计算机视觉
0 下载
2 浏览
2026-10-29

数据集简介

项目概览

MTG-AD 面向端到端内联音频描述(inline audio description)任务:多模态大模型需要在全长的未裁剪视频中生成带时间戳的音频描述,并且这些描述要能嵌入视频的自然停顿处,最终渲染到音轨上接受评估。评测同时关注描述与画面的时间契合度以及整体质量。该工作涉及计算机视觉与模式识别、人工智能、人机交互等方向,服务于盲人与低视力(BLV)用户的视频无障碍需求,相关论文被 NeurIPS 2026 Evaluations & Datasets Track 接收。

数据内容与划分

数据集包含 433 个 YouTube 视频,总时长约 36 小时,平均每个视频约 5 分钟,共 8k+ 条音频描述,全部由盲人与视力正常专业人士配对共同标注。视频 ID 列表分别记录在 video_ids.txt、validation_video_ids.txt、test_video_ids.txt 中,对应 433、332、101 个视频;test 集是论文全部多模型结果所用的评测子集。

原始文件组织

原始数据按 raw/{split}/ 目录组织,每个视频对应一个以 output_{VIDEO_ID}.txt 命名的文件:

子目录 内容
gt_ad/ 专业标注的真实音频描述
visual_info/ 密集时间戳视觉信息
transcript/ 带时间戳 ASR 转写,无语音时为空文件
test/model_ads/{CONFIG}/ 各模型配置生成的音频描述
test/model_metrics/{CONFIG}/ 逐视频指标分数(JSON)
test/scoring_exclusions.json 排除在聚合指标之外的 (config, video) 对

Hugging Face 上提供 annotations(validation、test 两个 split)与 model_outputs(test split)两类配置,字段 include_in_scoring 用于标记是否纳入评分。

音频描述生成

generation 目录下的代码负责调用多模态模型,在未裁剪的全长视频上生成内联音频描述。生成结果按模型配置写入 raw/test/model_ads/{CONFIG}/,便于与真实标注逐视频对照。

MTG-AD-Eval 评测

evaluation 目录实现无参考评测框架 MTG-AD-Eval,对生成描述与真实标注进行细粒度比较,逐视频输出指标分数到 raw/test/model_metrics/{CONFIG}/output_{VIDEO_ID}.json;scoring_exclusions.json 中列出的配置与视频组合不参与聚合统计。

TTS 渲染与转写生成

生成或标注的文本描述通过 TTS 渲染为音频,嵌入视频停顿形成可播放的无障碍音轨,用于评估时间契合度与整体听感。transcript 相关流程则为每个视频产出带时间戳的 ASR 转写,无语音的视频保留空文件,保证目录结构一致。

端到端流水线与自有视频评测

仓库把上述环节串联为端到端流水线,依次完成转写、音频描述生成、TTS 渲染与评测。除数据集内置视频外,用户也可以将自己的 MP4 视频接入同一流水线,得到对应的描述生成与评测结果。仓库目录包括 analysis、assets、common、evaluation、generation、metadata、tests,代码采用 Apache-2.0 许可。

获取方式与引用

数据集托管于 Hugging Face(google/mind-the-gap-inline-ad),可通过 datasets.load_dataset 或 huggingface-cli 公开下载;代码与说明见 GitHub 仓库。论文为 NeurIPS 2026 Evaluations & Datasets Track camera-ready 版本,提交日期为 2026 年 10 月 29 日。

主要作者包括 Subhashini Venugopalan、Jenny Tan、Taylor Roper、Jimmy Tobin、Anton Kast、Alicia Martin、Sam Sepah、Amy Pavel,来自 Google。

基本信息

记录数量433 个 YouTube 视频,约 36 小时,平均约 5 分钟/视频,共 8k+ 条音频描述;划
文件大小未知
文件格式txt, json, mp4, python
数据来源Google
代码语言Python
视频数量433
总时长约 36 小时
音频描述条数8k+
数据划分validation 332、test 101
许可协议Apache-2.0
托管平台Hugging Face
数据落地页https://github.com/google/mtg-ad
发布日期2026-10-29
音频描述视频无障碍多模态评测内联描述盲人与低视力用户

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费