PanoCARLA 全景视频深度数据集
数据集简介
数据集定位与来源
PanoCARLA 是 PVDepth 项目组发布的合成全景视频数据集,使用 CARLA 0.9.16 仿真器生成,服务于全景视频深度估计(panoramic video depth estimation)以及语义分割等全景理解任务。它对应论文《PVDepth: Panoramic Video Depth Estimation via Geometry-Aware Spatiotemporal Adaptation》,是 PVDepth 方法的官方训练与评测数据。数据采集流程已开源,便于研究者复现或扩展生成流程。
数据内容与模态
每个片段以时间对齐的多模态序列组织,包含以下内容:
- 全景 RGB 图像:等距柱状投影(equirectangular)图像,分辨率为 2400×1200。
- 度量深度:以米为单位的全景深度图,与 RGB 帧逐帧对齐。
- 语义分割标注:采用 CARLA 语义分割 ID,可用于语义分割等任务。
- 相机位姿:记录每帧相机的空间位置与朝向,支持几何一致性建模。
以上模态共享同一时间轴,可直接用于时空联合建模。
城镇分布与逐城镇统计
数据覆盖 8 个 CARLA 城镇,共 67 条漫游路线、117 个源片段。各城镇的帧数、路线数与片段数统计记录在 statistics_report_dynamic.txt 中,便于按城镇核查数据规模。漫游路线的空间轨迹以可视化形式提供在 carla_path_vis/ 目录下,可用于了解采集覆盖范围。
仓库结构与文件组织
数据集仓库按用途划分目录:
panocarla_h5/:HDF5 格式的全景片段,分辨率为 2400×1200。town0210_res1024_512.tar:Town02 与 Town10 的原始基准数据,分辨率为 1024×512。test_benchmark/:不同采样率下的基准 JSON 文件。setting_dynamic.json:记录完整片段与帧索引。statistics_report_dynamic.txt:各城镇统计报告。carla_path_vis/:漫游路线可视化。vis_mp4/:全景预览视频。
HDF5 数据格式与读取
HDF5 片段以键值对组织,主要数据集的形状与类型如下:
| 键 | 形状 | 类型 | 说明 |
|---|---|---|---|
rgb |
[T,1200,2400,3] | uint8 | 全景 RGB 图像 |
depth |
[T,1200,2400,1] | float16 | 度量深度(米) |
seg |
[T,1200,2400,1] | uint8 | 语义分割 ID |
poses |
[T,4] | float32 | 相机位姿(x, y, z, yaw) |
frame_ids |
— | — | 帧索引 |
读取时可按片段加载上述键,按时间维度 T 逐帧访问多模态数据。
基准划分
PVDepth 协议将 8 个城镇划分为互不重叠的训练集与评测集:6 个城镇用于训练,Town02 与 Town10 用于评测。训练集包含 112,988 帧、54 条路线、95 个片段;测试集包含 13,708 帧、13 条路线、22 个片段。test_benchmark/ 中提供了不同采样率下的基准 JSON,可用于控制评测时的帧采样密度。
下载与访问
数据集托管于 Hugging Face,属于 gated 数据集,需在数据集页面申请访问权限,通过后使用 HF CLI 认证并下载:
hf auth login
hf download Soon122/PanoCARLA
总文件体积为 637 GB,下载前请预留充足存储空间。
许可与引用
PanoCARLA 采用 CC BY 4.0 许可,允许商业使用,但需保留署名。代码仓库采用 Apache-2.0 许可。若在研究中使用了该数据集,请引用 PVDepth 论文:
Chuanxin Song, Peixi Peng. PVDepth: Panoramic Video Depth Estimation via Geometry-Aware Spatiotemporal Adaptation. ICML 2026.
致谢
数据集基于 CARLA 团队开发的 CARLA 0.9.16 仿真器生成,感谢 CARLA 团队提供开源仿真平台。