ShotPilot 多镜头视频生成预计算训练缓存

计算机视觉
0 下载
5 浏览
2026-10-12

数据集简介

缓存内容与目录结构

数据集围绕 ShotPilot Stage 1 的训练输入组织为三个子目录,每个子目录下均提供 index.jsonl(每行对应一个片段,以 metadata_row 为键)与 manifest.json,便于按片段检索与校验。

  • stage1_features_v0/:存放每个片段、每个镜头的 VAE 视频潜变量。文件位于 rows/row_XXXXXX.pt,内含 global_prompt、source_relative_path 与 shots 列表;每个镜头记录 sample_id、shot_index_in_window、first_chunk_action、latent_frames 与 latent,其中 latent 形状为 (16, T, 60, 104)。
  • stage1_memory_rgb6/:存放每个镜头的 RGB 记忆,路径为 shards/worker-XX/rows/row_XXXXXX.pt,内含 memory_by_shot(latent 形状 (16, K, 60, 104)、shot_ids、rgb_indices)。K 最多为 6,首个镜头不含记忆。
  • stage1_text_enriched_v2/:存放增强全局提示词的 UMT5-XXL 编码,文件位于 rows/row_XXXXXX.pt,含 prompt 与 context(tokens 填充至 4096,实际长度 83–474 tokens);另有 empty_context.pt 提供空提示编码。

所有张量均以 torch.bfloat16 保存为 .pt 文件。三个子目录分别包含 6,414、6,430 与 6,409 个文件,体积依次为 26.7 GB、24.8 GB 与 12.0 GB。

使用方式

该缓存面向已具备 ShotPilot Stage 1 训练流程的环境,直接读取预计算潜变量与文本编码,无需再运行 VAE 或文本编码器,从而省去重复的编码开销。可通过 Hugging Face 命令行下载完整仓库:

hf download BlueSourceJY/shotpilot-stage1-data --repo-type dataset --local-dir data

下载后按 index.jsonl 中的 metadata_row 关联三个子目录的对应文件,即可组装每个片段的视频潜变量、镜头记忆与文本上下文。注意数据集中不含原始视频,所有内容均为编码后的张量。

许可与数据来源

本缓存派生自 ShotPlan,而 ShotPlan 又派生自 VidEvent(Liang 等,2025),因此继承其使用条款:仅限非商业研究用途,许可证标识为 videvent-derived-research-only。使用时应同时引用 ShotPlan 与 VidEvent,并遵守 VidEvent 的使用条款。上游论文为《VidEvent: A Large Dataset for Understanding Dynamic Evolution of Events in Videos》,作者包括 Baoyu Liang、Qile Su、Shoutai Zhu、Yuchen Liang 与 Chao Tong。

基本信息

记录数量未知
文件大小6,404 个片段;总文件体积 63.5 GB
文件格式pt, jsonl, json
数据来源BlueSourceJY
片段数量6,404
片段长度80 帧(5 秒,16 fps)
分辨率480x832
张量精度bfloat16
文件体积63.5 GB
许可证videvent-derived-research-only
数据落地页https://huggingface.co/datasets/BlueSourceJY/shotpilot-stage1-data
发布日期2026-10-12
多镜头视频生成视频潜变量预计算缓存ShotPilotVidEvent文本到视频

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费