MMCD 多相机视频拼接基准数据集
数据集简介
项目概览
MMCD 面向多台自由移动相机的多视角视频拼接与对齐任务,既可用于训练,也可用于定量评测。数据集与 MViS 代码仓库配套发布,论文为《Video Stitching from Multiple Moving Cameras》(NeurIPS 2026),作者来自内盖夫本-古里安大学(Ben-Gurion University of the Negev,BGU-CS-VIL):Shira Ifergane、Roy Amoyal、Shahar Benishay、Oren Freifeld。
每个场景由多段同步手持视频构成,拍摄设备为不同的移动设备,环境与光照条件多样,适合检验拼接方法在真实手持拍摄条件下的稳健性。
仓库内容与目录结构
仓库同时承载代码与数据组织约定。帧图像按场景与视频编号存放,关键点标注以 PyTorch 张量文件形式按场景给出,目录结构如下:
../MMCD/frames/<scene>/video0/、video1/ …
../MMCD/kps_annotations/<scene>/kps_<scene>.pt
../MMCD/kps_annotations/<scene>/pred_visibility_<scene>.pt
- 帧图像为 jpg 格式,文件名形如
0001.jpg; kps_<scene>.pt保存该场景的关键点标注;pred_visibility_<scene>.pt保存对应的可见性预测;- 运行拼接后输出的全景视频为 mp4 格式。
安装与快速上手
代码仓库采用 MIT 许可。使用前需从官方 HuggingFace 数据集页 VIL-Group/MMCD 下载数据,并放置在仓库旁的 ../MMCD/ 目录;也可通过 --data_folder 参数指定其他存放位置。完成数据放置后,即可按仓库说明运行 MViS 对自己的视频做拼接。
关键点标注与指标计算
为支持定量评测,作者在首帧的重叠区域人工标注关键点,并利用 Co-Tracker3 将关键点沿序列传播,从而为整段视频提供可核对的对齐参考。评测环节在 MMCD 与 StabStitch-D 上计算指标;MViS 方法在 MMCD 上运行并计算 GV 几何指标。
引用
若在研究中使用了本数据集或代码,请引用论文《Video Stitching from Multiple Moving Cameras》(NeurIPS 2026),作者为 Shira Ifergane、Roy Amoyal、Shahar Benishay、Oren Freifeld。数据集发布页面为 HuggingFace 的 VIL-Group/MMCD,代码仓库地址为 https://github.com/BGU-CS-VIL/MViS。