PanoCARLA 全景视频深度数据集

计算机视觉
0 下载
2 浏览
2026-10-08

数据集简介

数据集定位与来源

PanoCARLA 是 PVDepth 项目组发布的合成全景视频数据集,使用 CARLA 0.9.16 仿真器生成,服务于全景视频深度估计(panoramic video depth estimation)以及语义分割等全景理解任务。它对应论文《PVDepth: Panoramic Video Depth Estimation via Geometry-Aware Spatiotemporal Adaptation》,是 PVDepth 方法的官方训练与评测数据。数据采集流程已开源,便于研究者复现或扩展生成流程。

数据内容与模态

每个片段以时间对齐的多模态序列组织,包含以下内容:

  • 全景 RGB 图像:等距柱状投影(equirectangular)图像,分辨率为 2400×1200。
  • 度量深度:以米为单位的全景深度图,与 RGB 帧逐帧对齐。
  • 语义分割标注:采用 CARLA 语义分割 ID,可用于语义分割等任务。
  • 相机位姿:记录每帧相机的空间位置与朝向,支持几何一致性建模。

以上模态共享同一时间轴,可直接用于时空联合建模。

城镇分布与逐城镇统计

数据覆盖 8 个 CARLA 城镇,共 67 条漫游路线、117 个源片段。各城镇的帧数、路线数与片段数统计记录在 statistics_report_dynamic.txt 中,便于按城镇核查数据规模。漫游路线的空间轨迹以可视化形式提供在 carla_path_vis/ 目录下,可用于了解采集覆盖范围。

仓库结构与文件组织

数据集仓库按用途划分目录:

  • panocarla_h5/:HDF5 格式的全景片段,分辨率为 2400×1200。
  • town0210_res1024_512.tar:Town02 与 Town10 的原始基准数据,分辨率为 1024×512。
  • test_benchmark/:不同采样率下的基准 JSON 文件。
  • setting_dynamic.json:记录完整片段与帧索引。
  • statistics_report_dynamic.txt:各城镇统计报告。
  • carla_path_vis/:漫游路线可视化。
  • vis_mp4/:全景预览视频。

HDF5 数据格式与读取

HDF5 片段以键值对组织,主要数据集的形状与类型如下:

键 形状 类型 说明
rgb [T,1200,2400,3] uint8 全景 RGB 图像
depth [T,1200,2400,1] float16 度量深度(米)
seg [T,1200,2400,1] uint8 语义分割 ID
poses [T,4] float32 相机位姿(x, y, z, yaw)
frame_ids — — 帧索引

读取时可按片段加载上述键,按时间维度 T 逐帧访问多模态数据。

基准划分

PVDepth 协议将 8 个城镇划分为互不重叠的训练集与评测集:6 个城镇用于训练,Town02 与 Town10 用于评测。训练集包含 112,988 帧、54 条路线、95 个片段;测试集包含 13,708 帧、13 条路线、22 个片段。test_benchmark/ 中提供了不同采样率下的基准 JSON,可用于控制评测时的帧采样密度。

下载与访问

数据集托管于 Hugging Face,属于 gated 数据集,需在数据集页面申请访问权限,通过后使用 HF CLI 认证并下载:

hf auth login
hf download Soon122/PanoCARLA

总文件体积为 637 GB,下载前请预留充足存储空间。

许可与引用

PanoCARLA 采用 CC BY 4.0 许可,允许商业使用,但需保留署名。代码仓库采用 Apache-2.0 许可。若在研究中使用了该数据集,请引用 PVDepth 论文:

Chuanxin Song, Peixi Peng. PVDepth: Panoramic Video Depth Estimation via Geometry-Aware Spatiotemporal Adaptation. ICML 2026.

致谢

数据集基于 CARLA 团队开发的 CARLA 0.9.16 仿真器生成,感谢 CARLA 团队提供开源仿真平台。

基本信息

记录数量未知
文件大小637 GB
文件格式HDF5, PNG, NPY, JSON, TXT, MP4, TAR
数据来源PVDepth 项目组
图像分辨率2400×1200
总帧数126,696
城镇数量8
许可协议CC BY 4.0
访问方式gated
数据落地页https://github.com/ChuanxinSong/PVDepth
发布日期2026-10-08
全景视频深度估计合成数据集CARLA语义分割相机位姿

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费