ShotPilot 多镜头视频生成预计算训练缓存
计算机视觉
0 下载
5 浏览
2026-10-12
数据集简介
缓存内容与目录结构
数据集围绕 ShotPilot Stage 1 的训练输入组织为三个子目录,每个子目录下均提供 index.jsonl(每行对应一个片段,以 metadata_row 为键)与 manifest.json,便于按片段检索与校验。
stage1_features_v0/:存放每个片段、每个镜头的 VAE 视频潜变量。文件位于rows/row_XXXXXX.pt,内含global_prompt、source_relative_path与shots列表;每个镜头记录sample_id、shot_index_in_window、first_chunk_action、latent_frames与latent,其中latent形状为 (16, T, 60, 104)。stage1_memory_rgb6/:存放每个镜头的 RGB 记忆,路径为shards/worker-XX/rows/row_XXXXXX.pt,内含memory_by_shot(latent形状 (16, K, 60, 104)、shot_ids、rgb_indices)。K 最多为 6,首个镜头不含记忆。stage1_text_enriched_v2/:存放增强全局提示词的 UMT5-XXL 编码,文件位于rows/row_XXXXXX.pt,含prompt与context(tokens填充至 4096,实际长度 83–474 tokens);另有empty_context.pt提供空提示编码。
所有张量均以 torch.bfloat16 保存为 .pt 文件。三个子目录分别包含 6,414、6,430 与 6,409 个文件,体积依次为 26.7 GB、24.8 GB 与 12.0 GB。
使用方式
该缓存面向已具备 ShotPilot Stage 1 训练流程的环境,直接读取预计算潜变量与文本编码,无需再运行 VAE 或文本编码器,从而省去重复的编码开销。可通过 Hugging Face 命令行下载完整仓库:
hf download BlueSourceJY/shotpilot-stage1-data --repo-type dataset --local-dir data
下载后按 index.jsonl 中的 metadata_row 关联三个子目录的对应文件,即可组装每个片段的视频潜变量、镜头记忆与文本上下文。注意数据集中不含原始视频,所有内容均为编码后的张量。
许可与数据来源
本缓存派生自 ShotPlan,而 ShotPlan 又派生自 VidEvent(Liang 等,2025),因此继承其使用条款:仅限非商业研究用途,许可证标识为 videvent-derived-research-only。使用时应同时引用 ShotPlan 与 VidEvent,并遵守 VidEvent 的使用条款。上游论文为《VidEvent: A Large Dataset for Understanding Dynamic Evolution of Events in Videos》,作者包括 Baoyu Liang、Qile Su、Shoutai Zhu、Yuchen Liang 与 Chao Tong。
基本信息
记录数量未知
文件大小6,404 个片段;总文件体积 63.5 GB
文件格式pt, jsonl, json
数据来源BlueSourceJY
片段数量6,404
片段长度80 帧(5 秒,16 fps)
分辨率480x832
张量精度bfloat16
文件体积63.5 GB
许可证videvent-derived-research-only
数据落地页https://huggingface.co/datasets/BlueSourceJY/shotpilot-stage1-data
发布日期2026-10-12
多镜头视频生成视频潜变量预计算缓存ShotPilotVidEvent文本到视频
上架信息
数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载