3DHV 人物视频重建资源公开版

计算机视觉
0 下载
2 浏览
2026-10-11

数据集简介

先弄清楚:这里正在做什么

这个公开仓库面向 3D 监督人物视频生成的数据准备环节,存放经筛选的 OpenS2V 人物片段的 reconstruction inputs 与 raw model outputs,并按原始数据集分片与片段身份归档。也就是说,它不直接提供成品视频,而是把「从人物视频片段到可训练 3D 样本」这一过程中的输入、中间产物与模型原始输出一并保留下来,供后续生成任务使用。

从视频到训练样本,中间有这些步骤

重建流程按人物片段推进:需要时用 Qwen Image 2.1 生成或补全图像,用 SyncHuman 重建身体,用 UIKA 重建正面参考头部。三者产物在 final/ 下汇合为 fused.npz、renders/、qc.json、meta.json、smplx_fit.json 等文件,形成融合包;身体与头部资产则分别以 body/body_native.glb、body/skeleton.json 和 reference/ 等形式独立存放。处理记录与质检结果集中在 records/qc、quality/renders/、quality/render_qc.json、fused/qc.json、receipts/、manifest.json 等位置,便于逐级核对。

两个仓库为什么同时存在

公开仓库按原始数据分片与片段身份组织重建输入与原始模型输出,而源视频仍保存在筛选后的源仓库中。这样拆分的原因是:重建资源体积大、更新节奏与源视频不同,二者分开存放可以各自独立发布与备份。仓库中的 handoff-staging/、pipeline_v2/stage_a/、pipeline_v2/training/ 等目录也体现了分阶段交接与训练准备的用途。

你应该从哪里开始看

如果只想快速了解数据长什么样,可以先看 docs/examples/ 中的示例,再看 3d_video_captions_v1/ 里的视频描述;如果要复现流程,则从 pipeline_v2/resources/opens2v_parts2_13/partN/<original_clip_id>/ 入手,按分片与片段 ID 定位。code/ 目录存放相关代码,uika/ 与 synchuman/ 分别对应头部与身体重建的产物。

公开仓库每个顶层目录放什么

  • 3d_video_830bb30/:以 .tar 案例包加 index/ 索引的形式存放,约 142.8 GB,共 1,714 个案例包与 1,714 份索引。
  • final/:融合成品包,约 306.9 GB,3,659 个包,索引覆盖 3,609 个路径。
  • pipeline_v2/:流程主目录,约 487.0 GB、33,211 个文件,下含 resources/opens2v_parts2_13/partN/<original_clip_id>/、stage_a/、training/ 等子目录。
  • 3d_video_captions_v1/:视频描述,含 full 与 no_appearance 两种描述及收据,约 2.9 MB,177 个案例、177 个描述版本。
  • uika/、synchuman/:分别存放头部与身体重建相关产物。
  • records/qc、quality/renders/、quality/render_qc.json、fused/qc.json、receipts/、manifest.json:质检与处理记录。
  • code/、docs/examples/、handoff-staging/:代码、示例与交接暂存。

为什么会显示约 938 GB

公开仓库快照提交为 c3bf762c21,整体约 938 GB,由上述各顶层目录累加而来:3d_video_830bb30 约 142.8 GB、final 约 306.9 GB、pipeline_v2 约 487.0 GB,视频描述约 2.9 MB。体积主要来自融合包与流程中间产物,下载前应预留足够空间。

用一个真实案例看懂文件

以 pipeline_v2/resources/opens2v_parts2_13/partN/<original_clip_id>/ 为例,路径中的 partN 对应原始数据分片,<original_clip_id> 对应片段身份。进入该片段目录后,可以看到重建输入与模型输出;融合结果在 final/ 下以 fused.npz 呈现,身体网格为 body/body_native.glb,骨骼为 body/skeleton.json,质检为 qc.json 与 render_qc.json。

下载新成品包后,看什么文件

拿到新的成品包,优先看 final/ 下的 fused.npz、renders/、qc.json、meta.json、smplx_fit.json;再核对 quality/render_qc.json 与 fused/qc.json 的质检结论,以及 receipts/ 与 manifest.json 中的记录。

文件名里的缩写怎么读

npz 为融合人物高斯,glb 为身体网格,png 为视频帧与参考图,json 承载骨骼、质检与元数据,parquet 与 jsonl 用于结构化记录,tar 为案例包。smplx_fit 指 SMPLX 拟合结果,qc 指质检。

哪些状态才能说明“做完了”

本轮新导出保留 quality_status: computed_unreviewed、human_reviewed: false、training_ready: false,即质检已计算但未经人工复核,尚未标记为可训练。使用前应据此判断数据成熟度。

技术细节与来源说明

本次盘点日期为 2026-10-17,公开仓库快照提交 c3bf762c21。仓库由 Master-Shi 发布,公开可免费浏览与下载;数据集卡未标注具体许可协议,源视频仍保存在筛选后的源仓库中。

Fused 3D exports and source-video captions

融合 3D 导出与源视频描述分别位于 final/ 与 3d_video_captions_v1/:前者提供融合高斯、渲染与质检,后者提供 full 与 no_appearance 两种描述版本及收据,便于在训练与评估中对照使用。

基本信息

记录数量未知
文件大小约 938 GB
文件格式tar, npz, glb, png, json, parquet, jsonl
数据来源Master-Shi
数据规模约 938 GB
快照提交c3bf762c21
盘点日期2026-10-17
许可协议未标注
数据落地页https://huggingface.co/datasets/Master-Shi/3dhv-proc-public
发布日期2026-10-11
3D重建人物视频生成OpenS2VSyncHuman多模态数据

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费